接下来的十多年，他没有再找过师兄动手，因为他不想再尝到失败的滋味。
而随着他修炼的境界提升，他感觉到自己不只是身体，而是心理上也发生了变化。日常平淡如水的生活已经无法满足，他开始频繁下山，那繁花的红尘吸引了他，酒色财气让他沉迷其中。他知道，他已再也无法修仙，不过，此刻的现在修仙对他已经是无关紧要了。
每次他从山下回来，看到师兄仍旧仙风道骨，不食人间烟火的模样，他就心烦气躁，有一种……想要把这人也给弄脏的欲望。
祁君不是不知道无霁子做的那些事，他如果自己德行败坏也就罢了……直到被道友告上门，说无霁子在山下与一帮恶道勾结，用采阴补阳的方式来修道，祸害了无数无辜少女——祁君终于忍无可忍，他决定把无霁子逐出师门。
无霁子终于如愿以偿，和祁君认认真真斗了一次法。斗法的结果无霁子输了，正邪两股力量相斗，最终是祁君赢了，然而祁君也受了伤。无霁子下山之前，做了一件事，他在祁君日常修炼的道房里动了手脚，在那香炉里加了迷魂草和逍遥散——祁君因为受伤在道房养伤修炼，却不想那日日熏着的香炉内有乾坤，这也是后来他走火入魔的原因。
无霁