但邬堡里的世家们，当时依旧是不看好晋阳军的，认为晋阳军顶多只是昙花一现，这淮河以北的天下，迟早会被羯族人统一。
他们更应该等羯族人定鼎天下，战乱少了以后，再从中寻找出世的机会。
正因为这样的心理，当时他们派人去见刘琨的时候，曾委婉的表示，只要刘琨肯亲自登临邬堡，给他们一定的礼遇，他们便愿意派遣一些身负学识的子弟出来帮助刘琨治理打下来的晋阳五郡。
这些世家当时想的也只是派一些边缘子弟出来敷衍，真正的大才，他们要留待真正定鼎天下的势力。
这些世家他们自认为自己很有节操，很有风骨。
比如同一名世家子弟，终生只帮一个势力做事，比如帮助关中匈奴汉赵朝廷做事的，匈奴汉赵朝廷若是被灭掉，那么帮助匈奴汉赵朝廷做事的子弟，没有在战乱之中被杀的话，也会回到家族里，不再出世。
新的势力如果有需求，他们会派遣从未出世过的子弟出去辅佐。
换句话说，当时这些世家要求刘琨亲自登临邬堡拜访，他们才敷衍的派一些边缘子弟出世辅佐刘琨。
基本上就等于一开始就打算放弃那部分子弟，让那些子弟陪着将来晋阳军一起覆灭。
彼时就算是他们做为汉人世家，对于北方‘昙花一现’的汉人势力尽力尽忠了，史书上也有得来写。
然而，这些邬堡里的世家万万没有想到，刘琨居然无视了他们的表态。
不仅没有亲自登临邬堡拜访，反而他的独子刘绍也没有来邬堡拜访。
甚至刘琨半点让他们派遣子弟出仕辅佐的意思都没有。
经过探听得知，刘琨居然搞了什么科举选官，选了一些原本是军中士兵或者中下层将领，读书写字都不到两年的人，或者年龄大一些的，小时候读过一些书，只是比旁人多认得一些字的人。
刘琨此举在邬堡里面的世家看来，是对他们的羞辱与不屑。
当时他们真是气笑了。
觉得刘琨根本是不知所谓，他们等着看刘琨把晋阳五郡治理得一团糟，等着看刘琨的笑话。
总之，当时邬堡里的世家因为根本不看好晋阳军，认为晋阳军了不起能撑几年时间就会被胡人所灭，他们并没有对科举选官，以及刘琨不用他们世家辅佐而有太多想法。
邬堡里的世家们由于感受到了刘琨对他们的漠视，他们便也有意漠视刘琨和晋阳军，懒得过多关注晋阳军的发展。
然而，等到今年春耕，差不多一年时间过去，晋阳五郡看上去似乎并没有因为刘琨不会选人治理而出现什么混乱。
甚至五月份的时候，刘绍趁羯族军队主力与匈奴军队主力在兖州决战，秘密率军东征邺城。
当邬堡里面的世家得知消息的时候，刘绍已经攻破邺城，扫荡了邺城一带，带着从邺城一带得到的大量战利品。
包括五万多青壮奴隶男丁，以及三十四万多老弱妇孺，甚至还一并掳来了七万多羯族年轻女子，凯旋回晋阳五郡。