然有人看他们不顺眼了，其中邵王李重润和永泰郡主暗地非议他们。
张氏兄弟得知后，立即对他们判处绞刑。
御史大夫魏元忠曾经弹劾禀奏张易之等人的罪行，张易之向武则天申诉，反而诬告魏元忠与司礼丞高戬相约说:"天子年老，应该挟持太子做个能长久保持友谊的朋友。"
武则天问:"谁是证人?"
张易之说:"凤阁舍人张说。"
第二天在朝廷辩论，都无证据，但是武则天出于对张氏兄弟的依赖，当下把魏元忠、张说驱逐出朝廷。
此后张氏兄弟更加放肆，贪赃枉法，无所不为。
御史台弹劾禀奏，武则天诏令宗晋卿、李承嘉、桓彦范、袁恕己审查。
但司刑正贾敬言观察武则天心意，禀奏张昌宗强行购买他人货物，罪刑判为赔偿财物就可以。
武则天诏令说行。
李承嘉、桓彦范不放过张昌宗，进言说:"张昌宗贪占赃款四百万，还应该罢官。"
张昌宗张扬说:"我对国家立有功劳，不应该罢官。"