四年，朱之瑜再次飘浮东海去日本，不料被清兵发现。清寇白刃合围，逼他髡发投降，但他誓死不降，清兵被他的义烈所感动，偷偷驾舟将他送回舟山。
次年，朱之瑜又去日本，后由日本到安南。当他正要起程返回舟山时，舟山和四明山寨都被清兵攻陷。鲁王走避厦门，于永历八年降诏徵召五十五岁的朱之瑜。不过因朱之瑜东西飘泊，住处不定，玺书辗转两年后才到他手中。朱之瑜接到诏书，想立即转赴思明返回舟山，但苦无交通工具，困于安南。只得先回复鲁王一封信，陈述他历年海外经营、筹资觅饷的苦心。
急于早日回国尽忠报效的朱之瑜，终于在永历十一年等来了日本船，准备乘舟渡海归国。不料在二月遭安南供役之难，被羁五十余日。
安南权臣郑柞知道朱之瑜是大明有名学者，便留住他，拜他官爵，迫他行臣子跪拜礼，朱之瑜直立不肯跪。差官举杖画一“拜”字于沙上，朱之瑜乃借其杖加一个“不”字于“拜”字之上。郑柞大怒，当着朱之瑜的面，杀了许多人威吓他，朱之瑜始终没有屈节，真正做到了威武不能屈。
郑柞见状，只得放过朱之瑜。随后未过多久，安南遭到太平军的远征军攻击，安南军队屡战屡败，最终和太平军签订丧权辱国