李显被迁往房陵的时候，也是他最艰难的时候。
李显在房陵与韦后被幽闭，备尝艰危，但是，他们情爱甚笃。
李显每次听见敕使到来，就惶恐想要自杀。
韦后每次都制止他说：“祸福无常，还会少了一死的机会？何必急成这样！”
李显见韦后在自己最艰难的时候都没有离开自己，当下与韦后私誓说：“异时幸复见天日，当惟卿所欲，不相禁御！”
他这话，以及后来真的这样做，说明他不是什么智慧之人，因为，平常人，老婆跟你同甘共苦了，你得志了，可以让她高兴，让她败点家；但是，身为皇帝则不行，因为天下不是一个人的天下，天下是天下人的天下，你把天下让给老婆去败，就是昏庸的做法！
李显，遗传了李治的昏庸无能。
韦后为皇后之后，李显果然让她为所欲为，让她干预朝政，如武后在高宗之世。
桓彦范见这样下去不行，当下上表，以为：“《易》称‘无攸遂，在中馈，贞吉'，《书》称‘牝鸡之辰，惟家之索'，伏见陛下每临朝，皇后必施帷幔坐殿上，预闻政事。臣窃观自古帝王，未有与妇人共政而不破国亡身者也。且以阴乘阳，违天也；