待得一切安排妥当，高宗皇帝立即启程，自镇江出发，经常州、平江府、秀州等地，最终逃至杭州。
而在高宗皇帝一路南逃之时，江南各处除了金军肆虐之外更有叛军横行。如御营统制官王亦驻军江宁，谋夺江宁以为据点，夜半纵火，吓得守臣秘阁修撰赵明诚缒城而逃。所幸城中江东转运副使、直徽猷阁李谟所部团民兵伏于巷中，待得兵变时鼓噪而出，击退王亦。赵明诚因临阵脱逃而被罢职。
这赵明诚乃是词人李清照之夫。当日李清照在城中听闻赵明诚出逃，大失所望，后与赵明诚行舟往芜湖，路过乌江西楚霸王自刎之地，作《夏日绝句》以凭吊项羽，实为讥讽当政者与夫君之意。这便是那首传颂至今的名句：
生当作人杰，死亦为鬼雄。至今思项羽，不肯过江东。