杨集去过幽州两次，一次是杨谅造反之时，奉命抓捕与杨谅眉来眼去的幽州总管窦抗，一次是报复契丹那次，虽然两次都没有和元家起冲突，可他知道元家在幽州势力极大。所以杨集尽管没有想到杨广对元家贼心不死，可元家“渔阳系”不仅是杨广迂回对付元家的目标，同时也是杨集掌控幽州的最大障碍，即便杨广没有提醒，他也会想办法清除元家和元派在军队中的势力。
只是杨广旗帜鲜明授予他对付元家之权，却让他明白了两件事：一是杨广让他去幽州辽东搞事，主要还是让他对付关陇贵族，而目标还是元家。
二是幽州刺史李子雄上奏说渔阳太守元杰协同治下官员私设关卡收税，但奉命巡视幽州的司隶丞刘休文却说幽州各郡县官场清明，反过来说李子雄和漠州大都护宇文述、辽东郡太守燕询勒索官员钱财、克扣军饷。这说明刘休文极可能是元派的喉舌，而李子雄和宇文述、燕询也卷进了对付关陇贵族的游戏之中，事情就变得有点复杂了。
宇文述和燕询还好一些。其中的宇文述早已自绝于关陇贵族集团，其长子宇文化及现在供职于廉政司，并且和萧瑀、杨恭仁一道，拿下万多名有案底的散官和闲官，导致宇文家成了人人喊打的过街老鼠，其处境不比杨集好多少；宇文家如今除了跟着皇族混以外，别无选择。
燕询所在的燕家只是关陇贵族一个中小家族，其父燕荣因为暴戾被元弘嗣告发被先帝赐死，所以不仅与元氏有杀父之仇，而且没有什么势力可以依靠，加上他娶了杨雄第三女，故而甘心情愿、踏踏实实的当起了皇族外戚。
相对于前两者，李子雄就复杂多了，只因他是赵郡李氏子弟，其族兄李子权更是山东士族的代表，他虽然忠于朝廷、忠于杨广，可他的出身让他在考虑问题的时候，先是家族、次之是山东士族、最后才是君王和帝国。
李子雄作为幽州刺史，要是在对待元氏的问题上，杂入太多家族、派别的功利之心，而不是认真配合，事情就麻烦和复杂了。而杨集要是不能及时解决元氏渔阳系，继而会影响到他向辽东进军的进度。不过好在杨广任命他为辽东行军大总管，授予他先斩后奏之权，光是这两项，就足以令李子雄老实几分。
杨广确认他明白了自己的心思，便将此事放在一旁，话题一转道：“针对元氏这一事，你要是一时半会找不到入手之处，不妨先去上谷郡遒县拜会卢氏家主卢赤松，此人乃是已故武阳郡太守卢思道之子。”
说到这里，杨广狡黠一笑，续道：“卢氏和元氏为了争夺辽西走廊商道主导权，明争暗斗多如牛毛。只要你拜会卢氏的时候客气一些、谦虚一些，卢氏想必很乐意当你的得力助手。”
杨集听得双眼一亮，欣喜若狂的直呼道：“这真是刚想瞌睡阿兄就送上了枕头，若是有卢氏相助，必将事半功倍。”
见到杨集兴奋至斯，杨广亦是十分高兴，他忽然想到一事，饶有兴致的问道：“金刚奴，听说你有几个立下军功的武婢？”
杨集闻言，心中顿时有些发虚了，他知道杨广指的是来自杨素所赠的十大武婢。虽然二大武婢的出身并不重要，但重要的却是杨广所说的“立下军功”，这表明杨广知道他喜欢带着女人去打仗，若是追究起来，那可是犯了兵家大忌的。
乍一发现杨广正用似笑非笑的目光看着自己，而不是像是追究的样子，杨集的胆气立马陡壮，以一种平静的口吻说道：“确实有那么几个，庶妃柳如眉、宜人张出尘便是武婢中的一员，她们精擅技击之术，曾为我刺探了不少军情。”
“柳妃、张宜人，我知道。我也没有责备你的意思。”杨广挥了挥手，笑着安抚道：“我也认为女兵在很多具体事务上，比男兵还要细心；在某些场合、某此战争，她们比男兵还要好用。”
杨集松了口气，好奇的问道：“既如此，那你忽然问这个做什么？”
杨广目光诡异的看着杨集，呵呵一笑道：“我没有别的意思，只是觉得她们既然为国立功，不得不赏。”
杨集心中大生不妙之感，连忙说道：“她们不在乎的。”
“她们是不在乎，可我在乎。我作为皇帝，不能赏罚不明。”杨广一本正经的说道：“可她们终究女的，又是你的人，我也不能让她们入宫当女官。这样好了，我给她们每人一个皇家诰命好了。”
杨集干笑一声道：“阿兄容禀，小弟我和她们是清白的，我们之间清白得不得了！你要是赐予皇家的封号，那成什么了？”
杨广嗤之以鼻，步步紧逼道：“要是你真的跟她们清清白白的，你会走哪儿都带到哪儿？我且问你，若是我让你把那几个武婢送人，你乐意不？你同意不？”
“那肯定不乐意、肯定不同意。”杨集答得十分果断，于他而言，已经习惯十大武婢的存在，柳如眉和张出尘是他的老婆了，自然不可能送人，但另外八个，他也不可能送人，一是她们知道了太多的秘密，二是、二是他貌似也舍不得。
“这不就对了。”杨广