久又升任兵部尚书、湖北京西宣抚使，又改任制置使。
这时，南宋朝廷派遣卢仲贤出使金国商谈和议条件，宰相汤思退又打算放弃唐、邓、海、泗四州，赵昚亲自拟旨以唐、邓二州不是战略要地为由，下令可能考虑放弃，虞允文五次上奏疏据理力争。
汤思退大怒，于是上奏说：“这都是因为和议的利害关系与虞允文没有太大影响，故他大谈误国，以此博取主战派的美名。事关国家安危的大事，岂能像演戏一样。”
赵昚决定向主和派屈服。
汤思退表面上请求皇上召用虞允文，实际上是想去之而后快。
虞允文交上官印，仍然请求不要割让四州领土，请求辞职退休。
赵昚下诏令虞允文以显谟阁学士身份任平江府知州。
汤思退最终决定与金议和，将唐、邓二州割让金国。
隆兴二年，公元1164年，金兵再次入侵南宋。
赵昚这才知道，不击败金人，他们只会贪婪不已，当下将汤思退等人罢官，后悔没有听从虞允文的建议。
陈俊卿举荐虞允文，认为他可堪重任。赵昚当下升任虞允文为端明殿学士、同签书枢密院事。
乾道元年，公元1