回京，只打发两名郎中代他回京交旨，并代他辞官。
郑敦谨是以钦差大臣的身份出京，按照清制，不回京师交旨要重重治罪。两名郎中极力劝阻，却丝毫不得要领。追问郑敦谨辞官的原因，他只答了八个字：“外惭清议，内疚神明。”这句话，正是当日曾国藩处理天津教案不当、招致朝野唾骂之时有感而发的话。
当日，郑敦谨不计后果，坚持坐船回了长沙。他本是带着雄心壮志和朝野上下的殷殷期望而来，然而形势始终比人强，尽管他有“铁面无私”的美誉，却最终不得不无奈地屈服在形势下，唯一能做到的，便是满腔愤懑地离去。郑敦谨历有名绩，《清史稿》对此评论说：“江宁之狱，论者多谓未尽得其情，敦谨未复命，遽解官以去，其亦有所未慊于衷欤？”（《清史稿卷四百二十一》）
慈禧太后知道郑敦谨离开后一度十分恼怒，自己派出去的人，只有去的，没有回来的，马新贻是一个，郑敦谨又是一个，这还像什么话。还是恭亲王奕?代为圆场，慈禧太后这才没有追究郑敦谨的责任。此后，郑敦谨始终不再出仕为官，孤灯衾影中，只剩下绵绵不尽的自惭与叹息，直至最后终老于乡里。
郑敦谨的两个随员回到北京后，结局也令人困惑。满郎中伊