幼的自己也一起带走，带回了娘家。一开始母亲大概以为，何校尉不过一时被狐狸精迷惑了，才会跟她和离，等他想女儿了自然会回头求她，把她们娘俩重新接回去。
因此，住在娘家的母亲依然买通了何家的下人，探听何校尉和那位新夫人的近况。谁承想，母亲听到一半儿就边哭边骂，将屋里所有够得着的东西统统砸得精光粉碎。原来新夫人早在做妾的时候，就给何校尉生了个大胖小子，年纪只比何当归小一个月，何老夫人和何校尉对嫡长子的爱护胜过心肝，只字不提她们娘俩的事。从那以后，母亲再也不愿意抱着何当归唱歌了。
四岁的时候，外祖母见何家真的不打算要何当归了，就跑到母亲的院子里三天一小吵五天一大吵。彼时，何当归已经懂事，听到“拖油瓶”、“留不得”之类的话，很怕母亲真的会不要自己，日夜忧惧哀思，于是生了一场重病。外祖母趁机说服母亲，把小孩子放到城外的农庄上更容易养活。母亲那时才二十三岁，对何校尉的无情无义恨之入骨，又不想只守着一个女儿自断前程，就同意把何当归送走。
三年之后，母亲听信“改嫁同姓之人不算失贞，还被人叫一声何夫人，名声上也好听”的说辞，通过父母之命媒妁之言，嫁给比她小三岁的落魄