频繁的出入风月场所，更是将青楼当做家，自己的住处则变成了客栈酒楼。最终闹出了丑闻，惊动了京中。
后来就算有了杨姨娘，但也没能管住大老爷。杨姨娘本就是个丫鬟，虽然提成了姨娘，但无半点宠爱，自己的靠山太夫人更是远在京城。一点底气都没有，哪有能力制住大老爷呀。于是大老爷依旧是我行我素，只是狠狠的惩治了下头的人，让人不敢再多嘴多舌，乱传消息。
后头杨姨娘水土不服生了病，大老爷白日里去官衙里点卯，夜里就歇在花楼暗门里头。也没人在意这京中来的姨娘，后来没折腾几月就病死了。
死了一个丫鬟姨娘本不是件大事，但这件事仍没瞒过京中，老太爷来了信狠狠的骂了大老爷一通，并威胁道，再不安分点，就永远在广西呆着。
这可不行，他姚齐可不舍得京城的烟红柳绿，酒奢肉糜。所以大老爷也只好暂时安分下来，在官场上用起心来。
虽说大老爷在老太爷一番威慑之下，安分了许多，但是毕竟没个女人打理。老太爷对于大太太在自家婆母的嘱咐下，都坚决不去广西的事儿，很是光火。但是他也不能逼着新媳呀！
无奈之下，姚老太爷只有向圣上求得恩典，让大老爷每年年底回京一月