之下，沈一贯最终没能顶住压力，不久也告老还乡了。
虽然皇上当时准了。可是没几年，皇上遇到了烦心事，便又想起这位当年和蔼可亲的沈老头，于是暗中派人给已在老家耕读隐居的沈一贯去信求教。
沈一贯非常热心，他不仅认真答复皇上的问题，积极的给他出谋划策，还隐隐的表达出重新出山的意愿。
可是，让人意想不到的是，沈一贯的这封给皇上的回信却不知为何，还没送到皇上手里，便先在民间传了开来。大家于是都说，沈一贯是个伪君子，明明想当官，却还要故作矜持，假惺惺的辞什么官。现在又悄悄的向皇上献媚，想要复职。还有一些说的就更难听了，说沈一贯这叫：既想当**，又要立牌坊。
这话一出，沈老头再也无脸出山，从此真正的做了隐者。连皇上数次派人送到他们家的信，他也是不看、不收、不回。