司马炎对羊祜非常重视，忙下诏命他可以抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。
羊祜再次向司马炎请求伐吴，他悲懑地说道：“吴国虐政已甚，可不战而克！如果再不去攻打，孙皓这个暴君不幸死了，吴国更立一个明君的话，虽有百万之众，长江未可飞越，那不是留下无穷后患吗？”说完，用期待的眼神看着司马炎。
他是多么渴望司马炎的答应，他是多么渴望挥剑纵横沙场，他是多么渴望建功立业，让天下统一！
司马炎看到羊祜这么期待的眼神，终于大受感动，答应了羊祜的请求，让他统领诸将征吴！
这一刻，我知道，羊祜一定老泪纵横，因为他多年的愿望终于实现了！终于可以去攻打吴国了！
然而，命运并不打算给他这个机会，因为，他的身子不行了！
羊祜对司马炎说：“我是带兵不了了，只是希望平吴之后，圣上多多去操心治理！”
他说这个话，实际上就已经知道自己时日不多了，也看不到国家的统一，但是，他仍挂心着国家的治理。
同年十一月，羊祜病逝，享年五十八岁，他在临终前举荐杜预自代。
他死后两年，杜预按照羊