——张部停泊在较远处的船队听到清军来了，竟吓得在不明究竟下解缆升帆，不告而去，使得张部只剩不到三千人。不告而去的大半都是这一个多月招降收纳的清军降兵和地方义勇，其中就有降将张文胜等人。
船队走了大半，能战之兵不到三千，进取江西的战略变得难以实施，张煌言痛心无奈，决定改向巢湖。定下去巢湖坚持抗清后，张煌言忽然有股酸苦涌了上来，人在瞬间变得苍老许多。
得知尚书大人准备去巢湖后，魏大龙等将领却反对，认为巢湖入冬后水浅，根本不便停留海船，不如进入霍山山区，那里从前有不少抗清义师的山寨，或许能够立足。张煌言考虑之后采纳了这个建议，毅然下令全军弃船登陆赶往桐城，由桐城进入山区。
英、霍山区属于大别山系，正处在河南、安徽、湖北三省之交，山势波澜起伏，常年云雾缥缈，在安徽境内尤其险峻，陡崖、峡谷遍布，仍有一些抗清组织在山中筑寨。由于浙军不少士兵的眷属随行，加上武器辎重，故而张行进速度很慢，六天之后才到达桐城，所幸一路平安，清兵尚不知张部已转由陆路。然而，对浙军更大的考验才刚开始，浙军要进入二、三百丈的山区，不只跋山涉水，还需越过危峰峭壁，连骑兵都只能牵马而行，