有同意，只带十几个家僮前去。
鱼朝恩见郭子仪来，只带这么少人，便问道：“您的随从怎么这么少？”
郭子仪把别人劝说他的话告诉了他，然而说：“我对您非常放心！”
他这样推心置腹，使得鱼朝恩感动得哭道：“若非您是长者，能不起疑心吗？”
鱼朝恩虽然没有为难郭子仪了，但是，程元振不放过郭子仪。
他在唐代宗能即位，自认为有拥立之功，担心老将难以制服，当下多次离间诬陷郭子仪。
郭子仪因此被罢免副元帅之职，而加实户七百，再失兵权，充任肃宗山陵使，督建皇陵。
郭子仪将肃宗所赐的诏书一千余件全部呈给唐代宗，以表明自己的忠心。
唐代宗看后，安慰郭子仪道：“使重臣忧虑，我很惭愧，从今后您不要担心。”
郭子仪离开朝廷后的一年，也就是公元763年的冬天，吐蕃入侵，而程元振却隐瞒军情不报，使得唐朝的长安几乎没有军队防御。
就在这时，梁崇义在襄州也反叛了，而仆固怀恩驻扎在汾州，他暗中召回纥、吐蕃入侵河西，破坏泾州，进犯奉天、武功。
唐代宗见情况紧急，当下起用雍王李适