秦桧既然已经打定了主意要快速扳倒万俟卨，当即安排御史中丞李文会和谏议大夫詹大方弹劾万俟卨，说他“黩货营私，窥谣国是”。
而近日，赵构对万俟卨将与秦桧的私怨扯到朝堂政事上表现出非常不满，万俟卨这才渐渐察觉到赵构并没有让他代替秦桧的意思。
原来都是他想多了，他揣摩错了赵构的意思，一时野心膨胀，飘得太厉害，以为自己的地位即将位于秦桧之上，而当他清醒过来时，他也意识到他和秦桧已经彻底撕破脸，而且以秦桧在朝中的实力，他只能任秦桧鱼肉。
所以面对李文会和詹大方对他的弹劾，他并不感到意外，知道秦桧这次是要将他彻底赶下台，而且也知道自己这下已经是无力回击。
万俟卨认清了时势之后，只有一条路可选，那就是请求辞官。
但是赵构并不想将他一棍子打死，仍旧让他以资政殿学士的身份去外地任太守。
而秦桧是不将万俟卨弄下台不甘心，尤其是看到赵构对万俟卨如此仁慈更是妒火中烧。他指使给事中杨愿把万俟卨外派的诏书给退还给赵构，然后再变本加厉地弹劾万俟卨的贪污行径。
赵构只得收回成命，顺着秦桧的意思，改命万俟卨出守宫祠，