主嫁给他，房遗直听闻之后还是有点小激动的，作为一个少年，他对于尚主这种光荣的差事还是很向往的，甚至第一次庆幸自己的婚事因为父亲的四处奔波被耽误了。但是谁想到，房玄龄以恩宠太过谢绝了，转而向皇帝推荐自己的好友王珪，称赞他家的儿子各个都是兰芝玉树。因为那年房玄龄又被晋封为魏国公，陛下也就同意了他的建议，没有太坚持。不久之后，南平公主下嫁给王珪之子王敬直 ，而房遗直被父亲做主娶了京兆杜氏的女儿。
杜家的姑娘是不错，但是比起公主差远了，跟着清河房氏的门第更别说了，况且他的岳父也只是个小小的京兆尹，房遗直觉得很丢脸，但是他这种情绪被父亲发现后，则是招来了一阵臭骂。房玄龄训斥他，“娶妻娶贤，门第身份有什么要紧的？你什么时候学的如此虚荣浅薄？回去抄家训一百遍！”
若不是母亲劝架，恐怕他还要被父亲打一顿。有着这个，房遗直就什么都不敢流露了，只能按着父亲的要求，和妻子相敬如宾。因为除此之外他也没有办法，母亲卢氏敢不让父亲纳妾，媳妇儿变也能有样学样的不许他纳妾。而家教甚严的他，根本也不可能去教坊消遣，于是只能抱着媳妇默默的想，我原本是可以娶公主的。
因为父亲的教导