后来父亲曾来找过他，也劝慰过他，让他不要将这些事情给放在心上，于是他同意了。但是好景不长，府里渐渐的开始传出一些对他不好的谣言，那些谣言全都与他的生母有关，而那个时候的他，已经长大了许多，很多事情已经都能懂得了，最后还是父亲忍受不住这些谣言，带着他离开了宁国公府，搬去了外宅居住。
那个时候的父亲，虽然陪在他的身边，可他一点也高兴不起来，因为他知道，父亲也并不开心，父亲日日都在思念着母亲和弟弟，而他也时常会想起弟弟。
直到有一天，父亲突然为他请了一个教书先生，从那之后，他便一心跟着先生读着书。
转眼间十年的时间过去了，他和父亲在外宅也居住整整了十年，每年只有到年关的时候，父亲才能带着他回到宁国公府居住上几日，可每次回去，父亲都会同母亲吵上一架，于是两人不欢而散，第二天父亲又会带着他离开宁国公府。
一次，在父亲醉酒的时候，他从父亲口中得知，原来她的生母能够生下他，完全是因为一次意外。那次父亲遭人算计，被送去了青楼，而那晚服侍他的人，正好是自己的生母，于是自那日之后，才有了他。
知道这件事情的真相之后，沈远淳的心里