翟让、李密，江淮杜伏威、辅公祏等领导的三支主力军以摧枯拉朽之势，涤荡着隋朝的统治。而身为隋朝太原留守的李渊也暗中招兵买马，伺机而动。
李靖察觉了他的这一动机，于是把自己伪装成囚徒，前往江都，准备向隋炀帝密告。
他这个做法很不妥，因为，不明形势。
所以，李渊在太原起兵，攻占了长安后，俘获了李靖。
李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼：“您兴起义兵，本是为了天下，除去暴乱，怎么不欲完成大事，而以私人恩怨斩杀壮士呢？”
李靖此时虽然倒霉，但是，他是有运气的，因为李渊欣赏他，李世民赞赏他的才识和胆气，因而释放了李靖。不久，被李世民召入幕府，用做三卫。
武德三年，公元620年，李靖随从秦王东进，平定在洛阳称帝的王世充，以军功授任开府。
从此，李靖开始崭露头角，展示自己的军事才能。