还未等到赵顼驾崩，自己便先因病去世了。不过即使如此，若按严格照宗法继承顺序，便应该把皇位传给赵佾的长子赵桂。然而神宗之母高太后，却力主立神宗的六子赵煦为帝，自己以太皇太后身份临朝称制。而赵桂则就此和皇位失之交臂，只被册封为左武王。
赵煦在位十五年，二十四岁即驾崩。由于未有儿子，故此朝廷拥立了赵佶为帝。靖康之变以后，赵佶和长子赵桓（宋钦宗）一起被金人掳掠到北方囚禁。大批宗室同时遭难。侥幸逃脱出来的，只有康王赵构和左武王赵桂。原本这时候左武王也有机会称帝，但由于康王是宋徽宗的儿子，从血缘方面来说，似乎更适合登基。而且他的年纪也比左武王来得轻。所以朝廷群臣一致同意，拥立康王登基以延续宋室。
赵构是一个疑心很重的人。对于他来说，天大地大，都比不上自己的皇位大。为了皇位，老爹和老哥最后死在金国，永远回不来最好。这也罢了。但偏偏他自己又没有儿子。假如要册立太子的话，则和赵构血缘最接近的，也就只有左武王的儿子，册封为安祯侯的赵伯玥了。
然而，不知道出于什么心理，赵构却迟迟不愿意收养安祯侯，以及册立他为太子。甚至不肯让左武王和安祯侯父子参与朝廷事务，只把他们投