。
又因桓玄性格急躁，呼召时都要快速，当值官员都在省前系马备用，令宫禁内烦杂，已经不像朝廷了；另桓玄又兴修宫殿、建造可容纳三十人的大乘舆。
百姓更因而疲惫困苦，民心思变。北府旧将刘裕、何无忌与刘毅等人于是乘时举义兵讨伐桓玄。
北府军是东晋最精锐的部队，建立者就是桓玄的父亲，召集北方流落在南方的健壮者，以他们对胡狄的复仇怒火为引，在对抗北方诸胡的战争中，往往是战无不胜。
就连淝水之战，主力部队就是五千北府军，他们过河后，迅速击败数倍于己的前秦先锋队，才使得前秦军心动摇，一举崩溃。
谢安、谢玄都是桓温的将军府司马、掾吏。也因为这个原因，谢氏才能指挥的动北府军，也因为这个原因，刘宋的建立者刘裕才能抱着谢氏的腿腿，进入北府军序列。
北府军是桓氏一手建立的，一造反桓玄就派自己的堂弟桓谦去讨伐，他认为不会有胜率，准备带人入蜀，结果半路断粮，被杀死。
值得一说的是桓玄与父亲桓温的感情很好，尽管他五岁的时候他父亲就病死了。
他建立桓楚后，不同于其他家族建国。他在宗庙中只追封了自己父亲桓温为宣