绍兴四年五月，赵构复选太祖六世孙赵子彦六岁的儿子伯玖入宫，交予吴婴茀抚养，随后为其改名为璩。赵璩长相比赵瑗更为漂亮，性情也比赵瑗活泼开朗，婴茀完全视同己出，爱如珍宝。但柔福却对赵璩无多大好感，平常入宫也仍旧只去看赵瑗，提起赵璩她很少称其名字，而是说“婴茀的孩子”。
左相吕颐浩任相以来虽一直主张对金及伪齐用兵，但用人喜用亲友旧部，有意培植党羽，而且肚量较狭，坚决不起用人望很高的李纲，颇失民心，遭人诟病，赵构亦越来越对其不满。绍兴三年九月，侍御史辛炳上疏弹劾吕颐浩不恭不忠，败坏法度。吕颐浩一气之下称病辞官，而殿中侍御史常同接着对其穷追猛打，列出“循蔡京、王黼故辙，重立茶盐法，专为谋利”，“不于荆、淮立进取规模，唯务偷安”，“所引用非贪鄙俗士即其亲旧”等十项罪状，赵构便顺势将吕颐浩吧为镇南军节度、开府仪同三司、提举临安府洞霄宫。
吕颐浩一倒，朱胜非孤掌难鸣。绍兴四年秋江南霪雨连绵，赵构诏求直言，侍御史魏矼趁机向赵构劾奏，说朱胜非“蒙蔽主聪，致干天谴”，朱胜非遂自请去职。绍兴四年九月赵构将朱胜非免官。随后赵构重用政绩卓著的参知政事赵鼎，先任其为知枢密院事、都督川