十一年十一月，宋金绍兴和议签署，金承诺将归还徽宗帝后梓宫及皇太后韦氏。
归还韦氏这条遭到宗贤的激烈反对，宋使何铸再三恳请，宗弼也从旁力劝，并晓以厉害，就连金主完颜亶都说话了，宗贤却始终不答应。
这事韦氏也知道，但不敢流露半点忧虑情绪，见了宗贤也如常服侍，对南归之事只字不提。倒是有一天，宗贤主动跟她提起，问她自己愿不愿回去，韦氏一径低首沉默不说，宗贤便
怒了，一拍桌子指着那两个在他们身边玩耍的孩子，喝道：“你就念着赵构是你儿子，一心想回去见他，但他们就不是你儿子了么？日后你回了南朝，可会也像想你儿子赵构那样想他们？”
韦氏两滴泪就掉了出来，呜咽道：“大王不要这样说，他们于我是骨肉至亲，我疼他们之心并不少半分。”随即抹去泪痕，强作欢颜，“我并没说一定要回去。大王待我不薄，两个孩子又都很孝顺乖巧，我留下来也是好的。”
此后几日两人又都不再提这事。一日晚间，韦氏在灯下刺绣，两个孩子各持一扫帚当刀枪，跑进跑出地嬉闹，宗贤独自躺在床上小寐。后来幼子被长子打了一下，想是很痛，就哇哇地哭了起来。韦氏呵斥了长子几声，命杨氏带他去睡觉，然后自己抱