无奈之举，在河北的时候，他的军队就是由数十股乱匪组成的大杂烩，虽然声势浩大，但真正到了大战的时候，大家只管各自利益，不肯拼命，以至被杨侗一战即溃，他的军队基本上损失殆尽。
窦建德想吸取从前教训，把军队全部掌控在自己手中，但刘黑闼此时已经品尝到了权柄带来的滋味，哪愿意卸下立身之本的军权，虽然没有到反目成仇的地步，但多次商量未果之下，二人大有渐行渐远之势。
在窦建德效忠于李密之时，李密为了分裂二人，封窦建德为夏王，又封刘黑闼为齐王，夏魏决裂之时，李密刻意避过刘黑闼，专打窦建德，这又令二人的嫌隙进一步扩大。
李密见离间窦建德、刘黑闼之势已成，索性改变了战术，不再执着于青州，将战略转向了南方。而窦建德失去了李密这个劲敌，便加快了整合军队的步伐，一些小头目遭到了强制性的清洗，这也让刘黑闼越发警惕了，对窦建德的命令阳奉阴违，完全是一副听宣不听调的架势，不仅如此，他还‘背’着窦建德与李密往来。
李密乐见刘黑闼仗大，不仅援助粮钱，还将高价购自大隋的战马，白白送给了刘黑闼五千匹。
刘黑闼从军中、民间挑选出了精锐，组建起三千最精锐的骑兵