因此对杨慎矜怀恨在心，便在李林甫的挑拨下制造流言，称杨慎矜是隋炀帝玄孙，勾结术士，密藏谶书，图谋恢复隋朝。
李隆基听闻之后大怒，将杨慎矜下狱，命三司会审。
李林甫把栽赃陷害的本领拿出来，命殿中侍御史卢铉袖藏谶书，称是在杨慎矜家中搜出。
最终，杨慎矜被族灭。
天宝八年，公元749年，咸宁太守赵奉章揭发李林甫罪状二十余条。
他的罪状尚未呈上，李林甫便已知晓，当下命御史台将其逮捕，以妖言之罪杖毙！
天宝十年，公元751年，李林甫兼领安西大都护、朔方节度使、单于副大都护。
第二年，李林甫鉴于开元年间张嘉贞、王晙、张说等文臣以边将入相的先例，欲杜绝出将入相的根源，以巩固自己的相权。他请求辞去兼任的朔方节度使之职，并举荐安思顺继任，上奏道：“文臣为将，怯于战阵，不如用寒族、蕃人。蕃人骁勇善战，而寒族在朝中没有党援。”
李隆基采纳了他的建议。
李林甫重用蕃将，使得高仙芝、哥舒翰等少数民族将领成为独当一面的大将，但也让安禄山得以长期控制河北，为日后安史之乱的爆发埋下了隐患。