年９月，车震偕张自忠到了廊坊，将他推荐给了冯玉祥。冯听了老友的介绍，又将张自忠上下打量一番，见他长得高大英武，且颇有“沉毅之气”，便很满意地收下了他。投奔冯玉祥实际上是张自忠军旅生涯的真正开始。这时，他已经二十五岁。按常例，此时从军已为时太迟。就连年纪比他小的佟麟阁、刘汝明、冯治安、吉鸿昌等人，都已经参军多年，当了连长。但对于一个有抱负的人来说，最重要的不是站在什么位置上，而是他是否找到了正确的奋斗方向。
冯玉祥的十六混成旅使张自忠真正得到了施展才华的用武之地和实现理想的奋斗舞台。在这里，他埋头苦干，发奋进取，开始了轰轰烈烈的创业。投奔冯玉祥之初，张自忠被委为中尉差遣。差遣，是当时军队中的一种编外附员，需要随初级官长班见习一段时间方能正式就任军官，所以又被称为见习官。不久，张自忠由见习官升任排长，所在连连长就是后来颇有名气的“倒戈将军”石友三。
为了增进初级军官的军事知识和技能，１９１年９月冯玉祥在常德设立了军官教导团，以炮兵团团长鹿钟麟任团长。张自忠奉派进入教导团军官队深造。主要学习战术、率兵术、地形、兵器、兵史、筑城、简易测绘及典、范、令等。张自忠对军事的兴