漠北，征黑松林。因作战骁勇、擅长谋画而为朱棣所亲信，为燕军第一大将，累官至燕王府左护卫指挥。
建文二年十二月，燕军与盛庸所率领的南军于东昌（今山东聊城）决战。燕王朱棣攻盛庸东侧，不料进入伏击圈，燕师死伤数万人，突围中被盛庸包围。张玉、朱能率亲兵冲阵救主，朱能负责救朱棣；张玉负责引开敌军。后朱棣会合朱能死战得脱，逃离战场。张玉则遭南军包围，力竭而死。燕师被迫还师北平，史称东昌之役。
战后，众将叩头请罪。朱棣闻知张玉战死，恸哭道：“胜负常事，不足计，恨失玉耳。艰难之际，失吾良辅。”痛哭失声，不能自己。众将皆泣。朱棣又亲自为张玉写悼文。
建文四年（1402年）六月，朱棣入南京称帝，追赠张玉为都指挥同知。九月，追赠荣国公，谥号忠显，以为靖难第一功臣。洪熙元年三月，明仁宗加封张玉河间王，改谥忠武，位在诸人之上，并与东平王朱能、金乡侯王真、荣国公姚广孝并侑享成祖庙廷。
张氏英国公一系传承九代，最后一任英国公张世泽被李自成所杀。值得一说的是，英国公是明朝最高世袭公爵，即使是刘瑾，魏忠贤当政，这一家也是稳稳当当，无人敢动。
张玉一家