又诬告傅亮不立刻渡河而无故逗留，刻意贻误军机。李纲自知两人醉翁之意不在酒，旨在针对自己，便黯然对赵构说：“设置招抚司、经制使是臣向陛下建议设置的，张所、傅亮也是臣所举荐的。而汪伯彦、黄潜善凭空诬陷张所、傅亮，分明是指斥臣行事欠妥。臣常以靖康年间大臣失和、朝无定策，以致国败家亡为鉴，遇事先与汪伯彦、黄潜善先议而后决。二人反与臣相逆，臣举足无地，肯请致仕归田
。”
赵构先是极力挽留，而李纲坚决请辞毫不动容。赵构又与汪伯彦及黄潜善商议，二人闻说李纲请辞自是正中下怀，唯恐赵构不同意，又连连攻击李纲，说他招兵买马，心存不轨，应早去为快。赵构倒未必皆信，但细思后也觉李纲所说的“靖康年间大臣失和、朝无定策，以至国败家亡”十分有理，当下两派相争必舍其一，便顺势罢免了李纲。
汪、黄二人一直在劝赵构巡幸东南，东京留守宗泽听说后接连上表，请赵构驾幸汴京。那时宗泽在汴京抚循军民，修治楼橹，招降臣寇王善，并慧眼识英才，将青年将领岳飞提拔为统制，政绩卓然，汴京军民莫不交口称赞。宗泽正想致书李纲，请他力劝赵构还汴，不料书尚未发出，左仆射李纲被罢为观文殿大学士，提举洞霄宫的消息已传