绍兴三十二年正月，赵构到达建康。
不久，他商议移驾回朝，下诏任命主和派杨存中担任江淮荆襄路宣抚使，另以虞允文为副使。
主战派官员大失所望，对任命杨存中意见很大，赵构于是改任虞允文为川陕宣谕使。
虞允文向赵构辞行，说：“金国完颜亮已被诛杀，新主完颜褒即位时间不长，金国国内形势一片混乱，这是上天帮助我们恢复失地的大好时机。与金和议就会打击朝野上下抗金义士的抗战热情，继续抗金就会振奋朝野上下的抗金士气。”
赵构认为他说得很有道理，不过，就是认为而已。
虞允文到达四川后，与大将们共商赶走金军恢复中原大计。
金人增派大批援军争夺南宋收复的大片土地，四川士人打算放弃这些州郡，虞允文坚持不能放弃。
双方就这样僵持着。
一直到宋孝宗赵昚即位后，朝中大臣有谈论西部战事的，认为宋军讨伐金人，东部不能超过宝鸡，北部不能超过德顺，并打算任用忠义之士守卫新收复的州郡，官军退守四川。
虞允文听了据理力争，没有取得结果，于是退兵河池。
参知政事史浩等人主张议和，打算放弃