最终遗憾而终。
姚崇自己勤俭节约，京城里连个府邸都没有！
他的一生，座右铭就是“以不贪为宝，以廉慎为师”，在唐朝国力达到鼎盛，而他个人的官位达到至极的时期，依然“耸廉勤之节，塞贪竞之门”，过着十分俭朴的生活。所以，他买不起京城市区的房子，全家人只得住在离朝廷较偏远的郊区。
他很廉洁，可是，他的儿子却未必廉洁。
其子姚彝、姚异，仗着父亲是宰相，广交宾客，招权纳贿，无所不为。
中书主书赵诲接受胡人贿赂，因事情败露，被李隆基定为死罪。
姚崇因为事情牵连儿子，对赵诲不能不营救。
李隆基对此非常不悦，在赦免京城罪囚时，特意在敕文中注明，将赵诲流放岭南。
姚崇见了，为此忧惧不安，知道自己的威信在皇帝那里已然没有了！当下数次请辞相位，并推荐广州都督宋璟继任宰相。
李隆基对姚崇已经失去了信任，当下罢去他宰相之职，改任开府仪同三司。
开元九年，公元721年，姚崇病情严重，眼看要死去，他看到自己的仇家张说重新起用，当下嘱咐儿子说：“我死之后，张说出于礼节，一定会来吊唁