两万隋军调头向城池奔去，这时李渊亲率大军赶到，挥兵掩杀而来，宋老生见军队已无法入城，不由大怒，喝令道：“三军列队，和叛军决一死战！”
两支军队在霍邑县北面展开了血战，隋军终因寡不敌众而失利，全军覆没，宋老生被刘弘基率数百人包围，宋老生誓死不降，力竭战死。
被依为铁壁的河东重镇霍邑，因为卫玄的用人不当，不到半天时间就失守了。
李渊将霍邑的残兵收入囊中，大军又变成了十二万人马，对于那些不想打仗的士兵，李渊都封了他五品散官，让他回家很快就收了这些人的军心，就是那些离开军队，回到关中的士兵也说李渊仁义。
事实证明，安抚手段比屠城更让李渊好处更多万倍，因为他的“仁义”，在他接下来的进军中势如破竹，一路连克临汾郡、龙泉郡、绛郡、文城郡，而上党郡、长平郡只取得一部，因为闻讯的薛万淑、杨善会先一步入境，夺下了此之二群的战略要地。
至此，太原以南除重兵把守的河东郡、河内郡外，其余各郡绝大多数被李渊军队占领。
大业十三年十二月中旬，李渊派李建成、李孝恭领兵，分别与薛万淑、杨善会交战，而刘弘基由绛郡进军河内，与裴仁基对峙