，杨丛义这些年来并没有太过干预朝廷对大名府、济南府、益都府、河间府等地的各级官员任职，当然皇帝和朝廷在这些地方任命重要官员时，也不会不询问他的意见，如果他对拟任职官员表现出异议，绝大多数情况下，那些官员是很难获得任职的。
这些年金军一直有威胁汴京的可能，在收复关中、河东之前，完颜亮随时可能挥军东出函谷关，驱兵汴京城下，也能够集真定府全部兵力，三日之内兵临汴京，因为汴京头上悬着的剑一直存在，所以不管是赵昚还是朝中各路大臣，谁也不敢向杨丛义发难，强逼他交出兵权。
直到四年前，大宋数路兵力齐出，一举收复关中、河东几十个州府的土地，将金人在关中、河东的势力全部清除，汴京城西边的威胁方才消失，加上川蜀军队完全占据关中，而川蜀大军又跟杨丛义几乎没有关系，如此一来，汴京君臣便有了在危机时刻退往关中、蜀中避难的可能，有了这条退路，于是赵昚和文官集团对杨丛义的忌惮便少了几分。
所以在大宋军队收复关中、河东之后，赵昚和文官集团便开始逐渐主掌大名府、济南府、益都府、河间府等地各级地方官府官员的任命，甚至开始往这些地方安插归附于文官集团的将官，一步步限制、掣肘杨丛义在