杨丛义在这八年里始终没有离开汴京地区，朝会参政议事，却不领任何具体和实际事务，无事之时醉心研究学问，儒学、佛学、杂学、道家典籍均有涉猎，时常与太学博士、儒学名家、高僧、高道交流，名声日显，众人渐渐忘记了他在军中的成就。
忽有一天，他向赵昚道别，说要去武当山修道还愿，如果没有特殊原因，数年之内，应该不会再回汴京。
杨丛义已经十年不曾插手军中事务，也已过花甲之年，虽然声望不减，但对军中实际影响却已经不似对朝政那般大了，并且每次在朝会上的发言，都让赵昚和朝臣苦恼不堪，因为总是会给他们找难题出难题，却从不伸手操办。
如今杨丛义要离开汴京，离开朝堂，赵昚真是大喜过望。
半个月后，杨丛义交代好家事，安排好顾清尘、孟芸娘和杨四娘，带着一个书童和十名护卫，在赵昚亲自派遣的百名禁卫护送下离开汴京，一路去往均州武当山。
上山之后，落脚于五龙祠，与道人们一同修炼，天气好时，也会在山上四处走一走，活动筋骨。
如此这般，一过就是两年。
忽有一日，两名陪同杨丛义去山上观景的护卫惊慌失措的返回五龙祠，向禁卫统领禀报说，