非但不给他们家小结算工钱，给予这些船夫家人抚恤，还将其一并告到了衙门，衙门那边也不分青红皂白，在无法查清真相的情况下，又抓不到刘老六和小黄岛众人，迁怒于这些船夫家，一些船夫的兄弟，甚至于被扣了个通贼的罪名，被官府抓了去，而大部分船夫家的家小，也都被官府和刘家逼得走投无路，吴元的母亲便是被逼得活活上吊自尽了。
而吴元自己也被官府抓去，打了一顿关了两个多月之后，因为什么都问不出来，被放了回去，而他母亲这时也早已上吊身亡，家里仅剩下了吴元一个人。
年前的时候，李家派人到福安一带，按照刘老六给他们的名单地址，一一找到了这些船夫的家，将抚恤交给了他们，并将他们男人的死讯告知了他们。
几个船夫家的孤儿寡母拿到这抚恤之后，也得知了他们家管事的死讯，更是伤心不已，吴元拿到了刘老六托人送给他们家的抚恤之后，想了想，便决定投奔刘老六，后来因为他年纪比较大，另外几个船夫家的女人，于是也将儿子交给了吴元，让他带着他们一起投奔刘老六，起码找条活路。
于是吴元便跟着李家的人带着另外四个小伙计到了连江县，又被转送到了大练岛上，等于孝天的船，这次才被一起