岳飞苦笑道：“今日在太尉面前，鹏举方敢实说，杜充其人，志大才疏，实在不知道圣上与吕、张等大人为何对其如此看重。”
刘光世听岳飞说到杜充，愤愤不平地说道：“正是如此，如今竟令我大军为其节制，近日我便要上奏章请调，我早就听闻杜充为人严酷，没来由要在他面前受这般鸟气。”
听刘光世这样说，岳飞立刻想到史书中这样记载道：“光世又上书言受杜充节制有不可者六，帝怒，趣令过江，且诏毋令光世入殿门。”于是便劝道：“太尉大人不必如此，如今杜充正得势，若是一再相辞，恐圣上不喜，反于大人不利。不如便依圣上之意，暂至军前，想来杜充之势必不能久，到时大人自有前程。”
刘光世奇道：“杜充此时方任右相，鹏举何言其势不能久？”
岳飞当然不可能说自己知道杜充会降金之事，于是便说道：“如今又是秋尽马肥之时，想必金人定要渡江南侵，以杜充之能，定是弃江而逃。大人请想，其势可久乎？”
刘光世点头赞同，便绝了上书之念头，也省得高宗皇帝对其发怒。二人夜谈许久，自别后之事再到天下战局，直至四更方才睡去。