张柬之等人虽被封王，但被夺去实权，对武三思形不成威胁了。 但是，斩草须除根，武三思是不会放过他们的！ 再说，他们虽不得参与朝政，但他们还有着王的尊号，还能一月入宫朝拜两次，有机会和李显接近，能对李显进行劝谏或献策，谁也不敢保证李显会不会听从他们的话！
所以，武三思觉得他们留在京城，仍然是一种威胁，只有把他们先驱赶出京城，再设法收拾他们！ 武三思便上报朝廷，要将他们调离京城，改任地方官。 这时是韦后当权，上官婉儿掌管草拟诏令，调令可以随便下。 而这俩个人，都是武三思的姘头，所以，他想怎么做，就怎么做！
当下李显诏令一下，张柬之调任为襄州刺史，敬晖为朗州刺史，桓彦范为亳州刺史，袁恕己为郢州刺史。
张柬之到了襄州之后，严肃法纪对待下属，即使是亲朋旧故也不放纵宽免。他遇到汉水暴涨侵及外城，便带着官兵壁垒筑堤，遏制急流怒涛，全境依赖它防洪。 我们别忘了，这时的张柬之可是八十余岁的老者！可是，他为了救洪，还亲自带人筑堤！ 这么好的一名官员，武三思却不放过他，还要置他于死地！
武三思等把他们调离京城后，让他们没有机会找皇帝申诉了，便指使