二人遂密请赵构转幸东南，赵构也渐有怯意，便于当年秋七月下诏宣布将幸东南，来春还阙。
李纲极力劝谏称不可，上疏说：“自古中兴之主，均起于西北，如此一来即可据中原而有东南；如果只守东南，则不足以复中原而有西北。因为天下精兵健马，皆在西北，如果放弃，金人必会趁机而入，盗贼也将蜂起，以后就算陛下有还阙的打算，也不能再得，更别说治兵制敌以迎还二圣了！为今之计，或许应当暂幸襄、邓以系天下之心，待赶走金人天下安定了，即还汴都。”于是赵构收还手诏，接受李纲的建议决定不去东南而幸南阳。随后在八月改封李纲为尚书左仆射兼门下侍郎，以黄潜善守尚书右仆射兼中书侍郎。
这时朝中主和一派又将矛头对准了极力主战的李纲。范宗尹也是一主议和之臣，向赵构进言说李纲名浮于实而有震主之威，不可以为相。而此前李纲曾上疏请求朝廷派命官招抚失地的百姓，和一些自发组织的抗金队伍以扩大抗金战斗力，并举荐张所为河北招抚使，王奕为河东经制使，傅亮副之，这又成了汪伯彦与黄潜善弹劾李纲的理由。河北转运副使、权北京留守张益谦得黄潜善暗示，上奏说张所置司北京不当，招抚司置后河北盗贼反而愈炽而难以控制，不如将其罢了。随即汪、黄