州令。而他却身在朝政，志慕清虚，不久就隐居到洛阳北邙山中，精思学道，修炼三年，有白虎口衔玉符而至其所。汉朝和帝几次下诏命令他入朝为官，都被他拒绝。
他对汉和帝的使者说：“人生在世，不过百岁，光阴荏苒，转瞬便逝。父母隆恩，妻妾厚爱，也随时而消失。君臣之恩，谁见长久？请转告圣上，只要清静寡欲，无为而治，天下自然大定，要我何用？我志在青山中！”为了避开京都近郊的俗务嘈杂和骚扰，张祖决心云游名山大川、访道求仙去了。
张祖离家修道，先是南游淮河，居桐柏太平山，后与弟子王长一起，渡江南下，在江西贵溪县云锦山住了下来。此地山清水秀，景色清幽，为古仙人栖息之所，张祖就在山上结庐而居，并筑坛炼丹，三年而神丹成；龙虎出现，故此山又称龙虎山。时年张祖六十岁，后又移居四川鹤鸣山，感石鹤长鸣。
在汉顺帝汉安元年正月十五日，太上老君降临蜀地，传授张祖《太平洞极经》、《正一盟威二十四品法箓》、三五都功玉印、雌雄斩邪剑等经书、法器，拜为天师。
太上老君嘱咐天师广行正一盟威之道，扫除妖魔，救护生民。于是天师于汉安二年七月，登青城山，会八部鬼帅，大战众鬼，制伏外道恶