乾道六年，公元1170年，赵昚诏令范成大为祈请使，为了徽、钦二帝的宫寝陵墓的缘故。
金人不同意移交给宋朝，并报告准备以三十万骑兵护送徽、钦二帝的宫寝陵墓归宋，朝野上下议论纷纷，一片惊恐，荆、襄二州统帅都请求增加兵力戍卫。
虞允文对他们说：“金人刚杀死完颜亮不久，决不会轻举妄动，他们不过是故意虚张声势，吓唬吓唬我们而已。”于是奏请停止增兵。
朝野舆论一片哗然，虞允文坚持己见决不动摇，以后金军果然没有入侵南下的行动。
这事，可见虞允文地金人的了解。
虞允文看到王储空缺，当下屡次上奏疏，言词恳切希望早立太子，以安定天下。
乾道七年，公元1171年正月，赵昚封两宫尊号，立太子之议终于决定，下诏将第三子恭王赵赵惇立为皇太子，另一皇子赵恺以雄武、保宁军节度使身份通判宁国府。
皇太子不久就任临安尹。
侍卫马军司牧马的地方过去一直设在临安，虞允文认为此地地势狭窄，不利于放牧，请求下令将牧地改为镇江，遇有紧急情况时骑马过江比较便利。
三军将士对此颇有怨言，以后议事者以此指