而且绝大部分的士兵都来自沿海，缺乏登山的装备和经验。几天走下来，不是淋雨受寒，就是双脚皆起了水泡，家眷妻小，更是苦不堪言，但人人都在咬牙坚持，无一人叫苦，无一人离队。
原本张煌言的目标是阳山寨，一个位在山顶的村寨，可容纳上万人，一直是抗清的根据地。张煌言已先透过当地义民去信，没想到走了大半路程之后，才得知阳山寨已接受清军招抚，原因正是南京兵败。张煌言大为愤怒，几欲领兵攻占，但虑及地势险峻，仰攻不易，终究放弃，改往英山山区。
八月十五日中秋节那天，张煌言带领的浙军仍在山中行进，忽传来前方有清军把守，张煌言为免损伤决定翻越东溪岭，绕道以避之。结果走了大半天之后，后方来报说是鞑子追上来了。
张煌言大惊，不明白清军怎的行动如此迅速，后又有来报，这才弄清楚，原来后方追上来的是鞑子的骑兵。此时张部上下已是精疲力尽，妻女眷小人人无力，士兵更是饿的走不动道。倘若继续行军，清军骑兵追上来后，恐怕张部覆没就在此间。
张煌言咬牙下令郭法广、魏大龙等将领挑选能战士卒数百人随他垫后，要参军徐允耕领着其他人继续走，务必要将浙军的种子保存下去。