杨麒儿喜欢抓人耳朵这事，皇帝还被季衡说教了一番。
皇帝反正是觉得杨麒儿还小，闹腾一点又能有什么，即使每次被儿子抓耳朵，他也觉得高兴，总觉得儿子那小手又嫩又软，抓在耳朵上虽然也疼得很，但是总归更多是觉得可爱，故而他就放之任之，对逗杨麒儿玩这件事情上，他是十分有意愿的，有时候甚至会把儿子逗得大叫起来，而对杨麒儿实行教育这件事，他就并不上心，觉得反正还小，四五岁再启蒙便是了，但季衡完全不这么认为，他相信三岁看到老，所以孩子在有些规矩上，若是做错了，就要纠正，不然等他长大了，即使纠正了，他骨子里还是认为原来的错的是对的。
所以杨麒儿每次抓人的耳朵，不管是抓皇帝的，还是抓他的，或者是乳母的，还有照顾他的女官宫女们的，季衡都会板着脸不高兴，并且把杨麒儿的手拿下来，说，“不能抓人耳朵，不然阿父不高兴了。”
季衡板着脸的时候，杨麒儿十分憷他，开始时是习惯改不过来，渐渐地就被纠正过来了，皇帝觉得季衡是小题大做，而且每次都让杨麒儿可怜兮兮的，季衡便把皇帝狠狠说了一顿，最后皇帝也可怜兮兮了，去抱着儿子诉苦，“你看你阿父多凶，咱们两父子命苦，咱们不理他了。”