从此恨上李商隐，说他背恩。
再之后，令狐绹当上了宰相，对李商隐多有打击，让他始终进入不了高层的圈子。
李商隐郁郁之下，决定再次去求令狐绹。
令狐绹对他避而不见，李商隐无奈，只得在令狐家的墙壁上题了一首诗：“曾共山翁把酒时，霜天白菊绕阶墀。十年泉下无消息，九日樽前有所思。不学汉臣栽苜蓿，空教楚客咏江蓠。郎君官贵施行马，东阁无因再得窥。”
首联写了一起度过的美好时光，颔联写了对令狐绹父亲的怀念，颈联借用典故，写了自己的困顿境况，尾联婉转提出，希望令狐绹能帮助一下自己，让自己再窥东阁。
令狐绹回家后，看到这首诗，非常生气，因为，自己父亲快要死了，叫他去见一面，他都不去，如今却好意思说什么“九日樽前有所思！”简直就是个反复小人！当下命人将李商隐题写诗歌的房间锁了起来，终生不开。
令狐绹就是一个这样恩怨分明的人，所以，他当上宰相后，对皇帝也多有规劝。
这样一来，皇帝对他就不是很感冒了，觉得这样的人当宰相，碍手碍脚，不能让自己放开来玩得痛快，于是，将他罢免，起用白敏中为宰相。
这个白敏中