在那个时候，男人就是家里的天，是一个家的顶梁柱。丁承业死后，他与嫡妻的几个儿子，也就是芸娘的几位伯父便以丁来喜不是丁家的种为由，分走了丁承业所有的遗产，将潘氏母子赶了出去。
潘氏并没有离开越州，就在离家不远处的树林里搭了几间茅草屋住下来。她用自己开荒出来的地种上蔬菜，再以刺绣换取其他生活用品，艰辛地养大了儿子。
丁氏一族对丁来喜的身份一直持怀疑态度，但以前丁承业是承认这个儿子的，因此家族的态度模棱两可。虽然很多人怀疑，却并未将丁来喜逐出家族。
丁来喜家境不好，在族中又受人轻视，偏偏人才生得十分好，还识字，让丁氏一族同龄的族人很是嫉妒。于是，只要有人给丁来喜做媒，丁家就有人出面说丁来喜的坏话，坏掉他的婚事。因此，丁来喜一直娶不上媳妇儿。
如此，丁来喜直到年近三十去外地做工，这才娶了个媳妇回家，几年后才生下了芸娘。
因为家里多了人口，而潘氏的身体也越来越差，家里负担很重。于是，丁来喜只能外出做工，以养活自己的母亲和妻女。因为他经常几个月都不能回家一次，芸娘也一直没有弟弟妹妹出生。
就在芸娘四岁的时候