祖上曾是戚继光将军手下的偏将，世驻金山卫备倭。弘光元年江南沦陷时，于世忠跟着不肯投降的明军一路南奔，先入福建投奔隆武帝，再逃广东投奔绍武帝。永历元年广州城破时，他带着一些手下从广州城跑到新安县的赤柱岛，后来赤柱岛被新安的绿营兵攻破，他领着残余人马又逃进梧桐山继续抗清。
清廷委任的新安知县张大昌曾派人进山劝降于世忠，许诺只要他带人出来投降，不但可以保住性命，还可以保举他为新安县的绿营守备。然而张大昌的几次劝降都被于世忠拒绝，他让劝降的人告诉张大昌，他的祖父当年跟随戚大帅打倭寇杀鞑子，死在蒙古人的刀下，他父亲则是死在浑河金兵的刀下，到他这辈，说什么也绝不会辱没祖上！想让他投降鞑虏，门都没有，他生是汉人，死也是汉鬼！（作者注：赤柱，后世香港）
........
太平军攻占香山后，周士相曾派人去招揽那些散落在香山附近的明军余部。于世忠闻讯后便率手下残兵出山趁夜渡海抵达前山寨，同驻寨的太平军将领蒋和接洽，愿率所部改编为太平军。
蒋和见于世忠手下的三四百兵一个个衣衫褴褛，好像多久没吃过饭，武器也都没多少，只当他们是寻常明军，便起了轻视之心，但