风茂陵（今陕西兴平）人。他十七岁跟随父亲马腾起兵，先是站在汉军阵营镇压韩遂叛军，后来马腾又和韩遂结合，一起反叛汉室。
马腾和韩遂两人时而和好，时而交战，关系很复杂。马腾曾与益州牧刘焉结盟，进攻李傕，同时为了后方安稳，与时为镇西将军的韩遂结为异姓兄弟。
攻打李傕失败，如果不是西凉军将领樊稠为马腾等人求情，李傕当时就能将韩遂、马腾彻底剿灭。
返回西凉后，马腾和韩遂因为部曲之间的矛盾反目成仇。期间，韩遂的部曲杀进马腾家中，杀死马腾妻子。也就是马超亲娘，还有年幼弟妹。
后来马腾和韩遂因为外部压力，不得不再次联合。因为马超以武勇闻名，韩遂一方很是忌惮。于是韩遂部将阎行寻找机会刺杀马超，偷袭成功，但阎行手中长矛被马超抓住，两人力大，长矛折断。阎行用折断了的矛抽中马超脖颈，当时以为马超死了，结果马超逃过一劫。
后来曹操以钟繇为侍中守司隶校尉，持节督关中诸军。钟繇至长安，写信给马腾、韩遂等人，陈述利害，马腾、韩遂各遣子入侍。
几年后袁尚使高干、郭援、南匈奴单于入侵河东，钟繇召他们从讨袁氏。马腾遣马超将万余人从征，战于平