骄奢荒侈，游猎无道，通宵玩乐。即使是桓伟下葬的日子，桓玄在日间哭丧但夜晚就已去游玩了，有时甚至一日之间多次出游。同时又兴修宫殿、建造可容纳三十人的大乘舆。
百姓们疲惫困苦，民心思变。
这时，北府旧将刘裕、何无忌与刘毅等人准备着举义兵讨伐桓玄。
永始元年（公元404年）二月二十七日，刘裕等人正式举兵，并成功夺取了京口和广陵，镇守两地的桓修和桓弘都被他杀了。
刘裕率义军进军至竹里，桓玄忙加桓谦为征讨都督。
桓谦请求桓玄派兵攻打刘裕，但桓玄惧怕刘裕兵锐，打算屯兵覆舟山等待刘裕，杀他个措手不及。然后，坚守不出，而对方求战不得，便会自动散走。
真是愚蠢之极的计策！
因为桓玄的人马多过刘裕的人马，守着城不和人家打，看似高明，却错过了最佳战机。
桓谦看到了战机，坚持要率兵去攻打。桓玄无奈之下，就派了顿丘太守吴甫之及右卫将军皇甫敷率兵去迎击。
结果二人皆在与刘裕作战中战死。
桓玄大惊，做出一个更愚蠢的决定：召见一众会道术的人作法，试图用法力灭了刘裕！