跟着弟弟们优渥的童年不同，房遗直的童年过的很是惨淡。彼时他还在娘胎，房玄龄便跑去投奔李世民去了，所以他出生后就没见过爹。而爷爷房彦谦是个非常清廉的官。所谓清廉，便是家无余财，而那时又是战乱，物价飞涨，所以过的十分艰难。一直到李世民被封秦王，房玄龄担任秦王府记室后，他才随母亲一起入京，终于见到了爹。结果没两年，因为太子李建成斥逐秦王府官属，于是老爹跟杜如晦一并被驱斥于外任，他跟母亲又苦哈哈的陪着父亲上任。一直等到房玄龄帮秦王策划了玄武门之变，皇帝上任之后，房家才骤然发达起来。房玄龄任职中书令，封邢国公，食邑一千三百户，贵不可言。
房遗直从小到大随着母亲四处迁徙，担惊受怕，吃尽苦头，好不容易等着父亲富贵，可他已经长大成人了。父子亲情未见有多厚，倒是父亲对他的要求越来越严厉，动不动便训斥他不能以宰相之子的身份自傲，不可骄奢淫逸，恃强凌弱。为此还专门集古今家诫，亲书为屏风放在他房里。旁人都道房相教子有方，只有他每天看着那字，觉得饭都难吃了不少。
作为一个已经站在青春尾巴上的少年，他对于长安城的花花世界还是很有些幻想的，但是因为有父亲在，所以他什么都不能想，什么