郑愔诬陷张柬之等人与王同皎同谋，说他们想要废掉韦后！ 李显见了郑愔的上书，顿时大怒，又将他们五人再次贬谪。
张柬之被贬为新州司马，敬晖为崖州司马，桓彦范为沈州司马，袁恕己为窦州司马。 他们都是贬在当时最为偏僻、最为荒凉的所谓远恶之地。 武三思决定要把张柬之整死为止，于是，想出了一个激怒李显的法子，那就是暗中指使人书写韦后的污秽行为，请予废黜皇后的封号的传单，然后，张贴在洛阳的天津桥。 武三思又让人将这种情况报告李显。 李显听了，极为愤怒，命令御史大夫李承嘉穷究其事。 李承嘉秉承武三思的意旨，捏造案情，诬为张柬之、敬晖、桓彦范、袁恕己五人对贬谪不满，暗中指使人所为，并报请李显:“他们表面上是请求废黜皇后，实则是想阴谋篡逆，应该对他们四人全部诛杀！” 大理丞丰朝隐表示反对，奏称“对张柬之等人不经审问，就急忙诛杀，不合法律手续。” 大理丞裴谈为讨好韦后及武三思，为之出谋，奏称:“对张柬之他们应该根据皇帝的诏令判处斩刑，诛杀全族，没收家产，则可以不必经过审问，也是合于法律手续的。”
后来李显考虑到曾向张柬之等颁发有不处死的丹书铁卷，当下不同意处死，改为流放。 可怜张