165年，虞允文任参知政事兼知枢密院事。
这年秋天，金国派遣使者完颜仲前来谈判，金使傲慢无理，目中无人，虞允文请求杀死完颜仲，因朝臣中有不同意见而没有行动。正碰上钱端礼接受李宏玉带一事曝光，这件事牵连了虞允文，被御史章服攻讦而定罪，罢去官职，西归故乡主管宫观。
乾道三年，公元1167年二月，虞允文又被召回朝廷，再次担任知枢密院事兼参知政事。
不久，吴王逝世，朝廷讨论由谁接任他的职务，赵昚对虞允文说：“吴王已经去世，汪应辰恐怕不熟悉军事，这个重任只能交给你了。以后凡事不要效法张浚的迂腐固执，军中各种事情，你应该一一亲临观察指导。”
赵昚任命虞允文为资政殿大学士、四川宣抚使，不久又下诏令虞允文继续担任知枢密院事。
虞允文回到四川仅一个月，又被召到朝廷，几个月后又去四川。
太上皇宋高宗赵构赏赐虞允文御书《圣主得贤臣颂》，赵昚亲自写跋，虞允文向皇上辞行，赵昚又将自己的一双鞋和甲胄赏赐给他。
虞允文经过郢州时，上奏疏建议修筑黄鹰山城。经过襄阳时，上奏疏建议修筑府城。八月到达汉中，又前往沔阳。九月抵达