杜暹昔为婺州参军离任时，属下小吏将公事结余下来的一万张纸送给他。其时造纸皆由手工而成，产量甚少，纸价甚贵，则纸与当时绢锦一样，皆有货币的功能。官吏离任之时，属下以纸作为赠礼，实为通例。杜暹当时仅取百张，其他的原物奉还，由此初有清名。其职务渐升，亲族之人少不了找他办事，杜暹却一概拒绝，最后亲族之人竟然不再与他来往。
李隆基之所以擢拔两名清廉之人为相，也是惩于前任张说不干不净，想让他们的清廉之名楷模天下。
可令李隆基始料不及的是，他们皆以清名为恃，各持己见，从此吵闹不断。他们当面争吵不说，还各自到皇帝面前说对方的坏话。
如此到了开元十七年六月，李隆基终于对他们失望了。其下制说道：“虽清以自牧，而道则未宏，不能同心戮力，以祗帝戴。而乃肆怀相短，以玷朝纶，将何以缉叙三光，仪辟百刑。”遂贬李元纮为曹州刺史，杜暹为荆州长史；源乾曜身为侍中，不能居中协调，有失职守，也被同时罢相。
李隆基虽罢源乾曜侍中之位，犹保留其尚书左丞相之虚职，并让其五日一参，极尽礼遇之事。由于宰相皆罢，李隆基还让源乾曜荐人。
源乾曜推荐李林甫为相。