更为关键的是，在段末波和段匹磾等人火并之时，居然不小心把晋朝司空刘琨给杀死了，刘琨是晋朝在幽冀之地的惟一代言人，声望极高，不但家世显赫，乃西汉中山靖王刘胜之后，而且能力极强，永嘉之乱后，坚守晋阳九年，先后抵御了汉赵和后赵的多次入侵，而且通文律，懂文学，人也长的帅，是一个极富个人魅力的人，在当时的东晋朝廷声望极高，文臣武将皆以刘琨为榜样，平定苏峻之乱的大功臣温峤就曾追随刘琨，晋元帝司马睿建立东晋政权后，温峤被刘琨派到建康帮助司马睿，所以司马睿对刘琨也很是感激。x33
这样一个偶像级的人物被段匹磾给杀了，而且是冤杀，对段氏的统治是致命性的，很多效忠于刘琨的部队和将领纷纷离去，段部鲜卑实力大损，再回过头来跟鲜卑慕容部争斗时，就只有被动挨打的份了。
等到段辽在位时，段部鲜卑受不了鲜卑慕容部与后赵石虎的南北夹击，最终投降了鲜卑慕容部，合并辽西与辽东的慕容皝意气风发，自称燕王，建立了前燕政权。
受不了慕容皝气的段辽不甘心失败，再次反叛慕容部时，被慕容皝捉住并杀害，段辽死后，段辽弟弟段兰继任首领，最终接受了后赵石虎的官职，继续率领段部族人驻扎令支城提防前燕。石虎死后，后赵也因为宗室动荡导致政局不稳，随着前燕势力的不断扩充段部也无法在令支故地立足，便率部来到山东割据。因为山东属于齐地，所以段兰的儿子段龛以广固为都城称齐王，同时效仿慕容皝向东晋称臣，受封齐公，这就是段齐政权。