上庐山为母守墓，赵构不许，岳飞却不管，让本军事务官张宪摄军事，自己撂下挑子径直上庐山了。
岳飞走后张浚即命兵部侍郎张宗元权湖北、京西宣抚判官，前往鄂州监岳飞军。无奈岳家军并不服他管，兵卒日日沮丧叹息：“张侍郎已来，岳将军大概不会回来了！”既怀念岳飞，对张宗元便越发抵触，士气低落，渐渐不大听号令。
赵构对岳飞擅自上山守丧已是十分不满，听到这些事更是极度震怒。张浚入见，建议赵构就此罢去
岳飞兵权，让张宗元正式取而代之。赵构负手低首在殿内大步疾行，良久，停在张浚面前，两眉深锁面色冷峻：“不，现在时机未到。”
随即重新落座于御案边，亲自提笔写下手诏：“许卿以恢复之事。”命张浚遣人传给岳飞，促他早日下山统军。
张浚展开一看，见他写诏书之时分明满面怒色，但写下的字仍沉着浑厚、宽稳疏朗，洒脱清逸中不透半点恶劣情绪，当下佩服之余亦暗暗心惊。
张浚让参议官李若虚与统制官王贵带着诏书前往江州，敦请岳飞归来管军。二人在东林寺见到岳飞，传达了赵构旨意，岳飞才受诏赶赴行在。
至行在建康后，岳飞具表待罪，赵构却似毫不恼怒，心平气和