到一些风声，但杨沂中当即来到岳飞府邸，岳飞仍像平素一样地接待了杨沂中，笑曰：“十哥，汝来何为?”
杨沂中相当尴尬，只好道：“无事，叫哥哥。只因张宪、岳云系狱的事，还需要哥哥到朝廷去对证一下。”
岳飞说：“我看汝今日来，意思不好。”说完，就抽身回里屋去了。杨沂中等候了一会，只见一个小侍婢捧出一杯酒来。杨沂中觉得有点蹊跷，岳飞是否会在里屋自杀，并使自己同归于尽呢？他踌躇片刻，观察动静，最后明白自己不过是胡乱猜测，于是把酒一饮而尽。正好岳飞随后出来，见他喝了酒，道：“此酒无药，我今日方见汝是真兄弟，我为汝往。”
随后岳飞即随杨沂中到临安，但一到临安立刻被下狱，直至年底，由赵构下旨：“岳飞特赐死。张宪、岳雲并依军施行，令杨沂中监斩，仍多差兵将防护。岳飞、张宪家属，分送广南、福建路州军拘管，月具存亡闻奏。编配人并岳飞家属并令杨沂中、俞俟，其张宪家属令王贵、汪叔詹多差得力人兵防送前去，不得一并上路。”
虽然杨沂中只是奉旨行事，但毕竟是由他将岳飞从江州带回临安，又是岳云和张宪的监斩官，因此多年以来也不能释怀，对杨炎也不愿多谈岳飞的事情。