免。
赵构便问他：“卿可与赵鼎议过此事？”
张浚说：“还没有。”随后找到赵鼎与他商量擒灭刘豫及罢用刘光世之事，但赵鼎并不赞同，说：“不可。刘豫倚金人为重，但不知擒灭刘豫，得了河南地，就可使金人不内侵了么？刘光世出身将门世家，士卒多出其门下，若无故罢之，恐失人心，惹来非议。”
张浚闻后颇为不悦。赵鼎施政行事一向以固本为先，不喜冒进，继续称国内兵力未到完全可与敌抗衡的时候，目前还是以自守为宜。见赵鼎主张与自己格格不入，张浚便有了排挤赵鼎之心。
在张浚示意下，左司谏陈公辅很快进言奏劾赵鼎。赵鼎早知当下事态不利于己，遂屡次向赵构辞官求去。赵构亦知他是受张浚排挤才辞官，虽未极力挽留，但却愀然不乐地对赵鼎说：“卿不必远行，只留在绍兴，朕他日有用卿处。”
绍兴六年十二月壬寅，尚书左仆射、同中书门下平章事兼知枢密院事、都督诸路军马兼监修国史赵鼎罢，充观文殿大学士、两浙东路安抚制置大使，兼知绍兴府。
绍兴七年春正月
癸亥朔，赵构接受张浚建议，在平江下诏移跸建康，准备二月启行。此后不久任翰林学士陈与义为参知政事，资政殿学士