像杨丛义这种在军中、民间，威望、声望极大的人，早已身不由己，想脱离权力中心，根本不可能。
纵使不去寻求权力，甚至刻意避开权力，权力的影响也会如影随形。
所以，杨丛义想安度余生并不容易，况且赵昚也不放心他呆在汴京，更不放心让他离开汴京。
病情好转，第一时间入宫面见皇帝，也没能让赵昚感觉轻松和放心，毕竟杨丛义对军队和朝廷的影响不像史浩那般温和，可以用皇帝权威迅速排除。
杨丛义、赵昚这对相识二十五年，相互配合十几年的君臣，自大宋顺利收复河东关中，化解西金从西面对汴京的威胁之后，他们之间的关系便出现了裂隙。
随着北伐大军收复幽燕、真定府，这种裂隙便进一步扩展，原因只有一个，杨丛义拥有颠覆大宋政权的能力。
相互试探一番后，杨丛义离开皇宫，回到杨府，自此闭门不出，旧日同僚属下，也一概不见。
整个北兴二年，大病初愈的杨丛义，始终没有上过一次朝堂，每日只在府中看书习字，陪着夫人和孩子。
期间，赵昚也召见过他几次，但他秉持自己的想法，不论任何军政大事，只聊看书学习心得体会。