李义府无法无天，他的儿子和女婿也学李义府，出到外面，都是属螃蟹的，走路都是打横的。
李治听说之后，好心提醒李义府说：“你的儿子和女婿，行为不谨，多为非法之事。我尚且为你遮盖，你要去告诫他们！”
皇帝对臣子说这话，作为臣子的，本该谢罪，马上去改，但是，李义府仗着武媚娘的势力，在皇帝面前，竟然勃然变色，脖子和脸颊都涨红，说：“谁跟陛下说的？”
李治看见他这个样子，很不高兴，说：“只要我说的对，你何必管我从哪里听来的！”
李义府听了，也不引咎，缓步而去。
李治见他如此作大，不由很不高兴。
李治虽然拿武媚娘没办法，但是，拿武媚娘身边的一条狗，还是有办法的。所以，他很快就收拾了李义府。
擅长望气的杜元纪对李义府说他的居第有狱气，要积钱二十万缗镇压狱气。
李义府听了非常相信，聚敛尤急。
他的母亲死了，李治给他丧假，然后微服与杜元纪出城东，登古冢，有人密告李义府有异图，要谋乱。
此时的李义府，已经很危险了，可是，他还不知道收敛，还派遣他的儿子李津召长孙无忌的