咸丰七年（1857）春，曾国藩以父丧为名，擅自离军回乡，并上了一个《历陈办事艰难仍恳终制折》，一方面诉说自己报国事君之诚，一方面抱怨自己官职太低，只是个在籍侍郎，没有兵权、财权和文武黜陟之权，所以办事艰难。曾国藩原是想借此要挟朝廷，索取两江总督实权。不料咸丰皇帝本来就是想利用湘军消耗太平天国的有生力量，让满洲贵族统率的江南、江北大营坐收渔利。加上当时汉人军机大臣祁隽藻认为曾国藩“以侍郎在籍，犹匹夫耳”，不过一书生，却能在短时间内迅速组建起湘军，不由深为忌惮，向咸丰皇帝上奏说“恐非国家之福”。咸丰皇帝趁机顺水推舟，批准曾国藩回乡奔丧不说，还借机将他湘军的统率权一并夺走。曾国藩的政敌何桂清则被擢升为两江总督。
曾国藩偷鸡不成反蚀一把米。失去了湘军，他就失去了在朝中保家立命的根本。追悔莫及之下，只得再上奏折，表示军务未定，粤匪未平，自回乡以后，日夜忧虑，惶悚不安，请求重新统率湘军，再为朝廷效力。咸丰皇帝素来忌惮汉人，对曾国藩也没什么好印象，照旧置之不理。然而，局势很快就逼迫他不得不以皇帝之尊向曾国藩“匹夫”屈服。
湘军自建立之初，便是依据明代抗倭名将戚继光