生于官宦人家。
他的高祖于夔，在元朝为官。
他的曾祖父于九思则任杭州路大总管，也就在这时，他的曾祖父把于家迁往杭州钱塘县太平里，故史载于谦为浙江钱塘人。
而于谦的祖父于文明在洪武年间任工部主事。
工部主事，说大不大，说小不小的官职，但，足以让于谦成为资源很足的人。
再加上于谦少年时期即刻苦读书，志向高远，他的成功，就更加容易了。
于谦非常敬佩仰慕文天祥的气节，悬文天祥像于座位之侧，几十年如一日。
他七岁时，有个和尚惊奇于他的相貌，说：“这是将来拯救时局的宰相！”
于谦八岁时，穿着红色衣服，骑马玩耍。
邻家老者觉得很有趣，戏弄他说：“红孩儿，骑黑马游街。”
于谦应声而答：“赤帝子，斩白蛇当道。”
这对出来的下联，不仅工整，而且还显露出他非同寻常的气势。
永乐十九年，公元1421年，于谦考取辛丑科进士，从此踏上仕途。
宣德元年，公元1426年，汉王朱高煦在乐安州起兵谋叛，于谦随明宣宗朱瞻基亲征。