又过不久，主战派的徐处仁、吴敏被罢免宰相而任主和派唐恪为相，许翰被罢去同知枢密院而起用聂山、陈过庭、李回等人，随后吴敏又被贬谪到涪州安置。李纲得知消息后，叹息道：“事无可为矣！”
随后诏谕命李纲回京，之后钦宗皇帝授任李纲为观文殿学士、扬州知州，李纲此时已经心灰意冷，于是上奏请求辞官，不准。但随后不久，钦宗皇帝便听信谗言，以其“专主战议，丧师费财”为由，将其贬为提举亳州明道宫，责授保静军节度副使，在建昌军安置；后又贬谪到宁江，李纲无奈起身，离京远去。
将李纲召回后，钦宗皇帝又命种师道为两河宣抚使接替，而太原之围未解，却是赔上了数万人马，钦宗皇帝之昏庸，朝中奸臣之横行，可见一斑。
就在宋军连败，朝廷之中争执不休之时，金军休养已足，金太宗诏谕一出，起大军十五万再度南下。