然而打敗王、竇之后，唐軍乃至唐廷的政策都比較怪。一般情況下李世民并不殺很多人，然而攻下洛陽之后，他卻殺了一批洛陽的將軍，如段達、楊公卿、朱粲、單雄信……其朱粲是吃人魔王天怒人怨實在該殺(朱粲死后，很多積怨甚久的百姓向他的尸體拋擲磚瓦，按書上的話就是須臾若冢，可見殺他實在是快人心)，而對單雄信按說一向不計前嫌的李世民也不會計較，若是解釋為怕他反覆無常倒也還過得去，但是其他人就沒有必殺的理由了。或許是李淵的密令?此前李淵也曾對宇文士及有過歸語爾王：今取洛陽，止欲息兵。克城之日，乘輿法物，圖籍器械，非私家所須者，委汝收之。其余子女玉帛，并以分賜將士的口頭詔令，但這里只是提了物品圖籍和子女玉帛的分配方式，并未涉及到戰后俘虜的問題，應當是另有吩咐吧。否則以李世民一慣的作風，實難理解為什么要非殺不可，但這倒是很符合李淵的風格。李世民將王、竇等人獻俘之后，李淵又下令要竇建德的將軍們到長安來，這便驚動了他們，使竇的舊部以為李淵要舉清洗——事實上只怕也真是如此。李淵這樣做自有他的考慮，如果他們真來的話，那么自然不費吹灰之力就可以殺掉了;如果不來的話，那必然會謀反，這樣就可以用正光明的理由派軍剿滅。總之，無論怎么個殺法，都無疑會達到斬草除根的目的。唐初河北(河北不是今天我們說的河北省，而是比河北省要得多的地區，就好比王維《九月九日憶山東兄弟》的兄弟們并不是在山東省一樣)一直是李唐不控制得來的地區，這一方面和家族之類的有關(后來唐修族譜，便要刻意降低山東士族的身份，而提高關隴貴族的地位)，另一方面，也和竇建德實在太得人心有關，直至后來河北都有人祭祀竇建德。因此如果能借機將竇的余部一網打盡無疑是最讓李淵省心的方法了。

既然如此，那么竇的余部就不客氣地選擇了后者。劉黑闥正是在這種情況下，擔任了起兵的首領。說來這也和占卜有關，隋末不是流行了好一陣李氏將興嗎，竇的舊部占卜時占出來應立劉姓之人，所以想到了劉黑闥。劉黑闥一聽說要起兵為竇建德報仇，十分高興，殺掉了牦牛和家一起飽餐了一頓。剛開始只有百余人，竟然襲破了一個縣，可見這支隊伍從一開始就不同凡響。此后又漸漸發展，人數也越來越多，唐的幾個刺史都不是劉黑闥的對手。

那么朝廷此時就要插手了，李淵派李神通去平定。李神通曾經敗在竇建德的手，李淵這次讓他去平定劉黑闥很可能是想給他一次復仇掙回面子的機會，要說李淵對自己的宗室真不是一般的好，可惜李神通實在有點不爭氣，但也不能全怪他，因為劉黑闥實在是難對付。那么可想而知，李神通又被打得敗，而且是和李藝一起敗的。李藝此前對付竇建德還是有一套的，但對付劉黑闥就對付不過來了。打到宗城的時候，劉黑闥碰到了一個老朋友——李世勣。當初就是李世勣把劉黑闥送到了竇建德那里。上一次是李世勣獲勝，而這一次卻是他的慘敗：步卒五千人，皆歿于陣，世勣與武通僅以身免(很是奇怪，那時好像很多全軍覆沒的戰斗，主帥卻能僅以身免)。李世民一定十分后悔，當初怎么就沒殺了他呢?

劉黑闥的起兵使李淵終于認識到了河北實力的雄厚，并不是一個李神通就能應付的。這時李世民請戰，恐怕他不請戰李淵也得派他去了。總之，是李世民軍一到，就挫敗了劉黑闥的幾次進攻——注意，也只是挫敗而已。這使得兩人都必須重新估量一下對手，李世民還好說，看劉黑闥一上來的幾次挑戰，顯然是低估了李世民。

就在對付劉黑闥的時候，唐軍損失了一員將，即羅士信。他應該就是后來說羅成的原型了吧，只不過在演義羅成是在李建成、李元吉手下被逼上陣戰死的，而真正的羅士信卻是在李世民手下為了守洺水而死。本來若說戰陣之間的勇武，羅士信并沒有輸，但是困守在吸引著劉軍主力的孤城，羅士信當然不好過，不巧的是，天降雪，打亂了李世民的計劃，無法按時援救洺水，也算是羅士信運氣不好吧。

遲到的唐軍終于到達了洺水，并且重新占領了城池。在這里唐軍將與劉黑闥進行一次會戰，或許當時雙方并不清楚這將是劉黑闥第一次起兵的終結點。對峙，李世民仍采用堅守不戰的方法，準備拖垮劉軍。相持了六十余日，時機成熟，雙方就在洺水對陣。事前，李世民交待守吏：待我與賊戰，乃決之。基于這句話，柏楊先生認為這是一場不知名的殘酷的集體謀殺，他在文章說：很明顯的，李世民在這場戰役，采取的是敵我同歸于盡的戰術，李世民和高級將領沒有危險，因為他們早就脫離戰場。他得出這個結論，主要的依據是李世民沒有提到半渡而擊，也就是說，柏楊先生理解為他的命令含義是在雙方混戰之際決水。當時看著雖然感覺有股寒氣，但也是比較贊同的。可如今看來卻有問題了，《資治通鑒》是沒提到半渡，但是新舊唐書上卻是有的。至于司馬光為什么沒寫半渡的字樣，概他以為那是個常識，所以不用寫了吧。總之，借助水的沖擊力，劉軍被沖了個猝不及防。劉黑闥逃到了突厥那里，這樣他的第一次起兵，就此告終。

打完劉黑闥，李世民接著進攻徐圓朗。可是不知為什么，李淵突然讓李世民回長安一趟。至今其原因我們都不得而知，很多人猜測是李淵生了疑心，可此時父子兄弟間的矛盾并不十分明顯，而且這時李淵對李世民還是比較親近的，疑心之說也不免讓人疑心。但除此之外，又能有什么理由呢?在長安說明形勢后，李世民又回來接著打徐圓朗。

徐圓朗勢力，因此就得在實力之外下點功夫了，比如見風使舵，比如順風而倒，總之，哪方有利投靠哪方。當聽到劉黑闥敗，徐圓朗懼，不知道該怎么辦好。有人提議讓他讓位給劉世徹(如此看來當時讓位也是很風行的，很多反王竟然都是讓位得來的)，后來考慮到翟讓的下場，徐圓朗便干掉了剛到來的劉世徹。這簡直就是一場鬧劇。

后來劉黑闥卷土重來，這一次李建成主動請戰，于是太子、齊王征討劉黑闥。第二次劉黑闥又殺唐軍一員將，同時也是唐朝一位郡王級別的烈士——李道玄。李道玄本來很勇武，和李世民一起打洛陽的時候連李世民都贊嘆不已。李道玄很欣賞李世民那種親自上陣深入敵軍東沖西撞的作風，于是也學著李世民的樣子深入敵軍。可是他卻忘了李世民是全軍的統帥，手下有若干忠心不貳的將軍，別人不說，單說尉遲敬德就從亂軍陣救了李世民好幾次，而且接應部隊決不敢怠慢堂堂秦王殿下。這些條件李道玄是沒有的，而且要命的是他和副將史萬寶不合協，結果他深入敵軍后史萬寶想的卻是以他為誘餌誘敵深入。那么李道玄的結果可想而知，但史萬寶的盤算也落空了，唐軍敗。

不過劉黑闥第二次興兵已無第一次強勁，加之糧盡，何況唐當時基本上已經是天下之主了，劉軍兵敗是必然。這一次李建成聽取了魏征的建議，寬處理了河北叛軍，一下子從人心上瓦解了劉軍的斗志。當然，所謂的寬是針對別人而言，劉黑闥則是被李建成就地正法了。臨刑前，劉黑闥埋怨當初勸他起兵的人，看起來似乎更愿意去種田——但已舉過一次兵，那么唐朝肯定不會容他，第二次再舉兵也實屬無奈。

劉黑闥死后，徐圓朗也宣告失敗，遁逃的徐成了唐初又一個被野人殺掉的人。

隋末起兵的英雄豪杰也好，投機倒把者也好，在武德朝基本上已被平定。還有一個梁師都是在貞觀朝平定的，他是有突厥的撐腰，才得以勉強茍延殘喘。唐當然不容許有這么一個障礙物在眼前，于是李世民利用梁師都的勢危援孤的困境，打算招降，但不知是不是因為看到了很多人被李淵殺掉的事實，梁師都很頑強地拒不從命，那就只好打了。唐軍打敗了來援的突厥兵，包圍住了梁師都。我們已經不能知道如果梁師都投降的話李世民會不會饒過他，因為梁師都在被圍的時候就被自己的堂兄殺掉了。被自己人殺掉的反王，梁師都算是僅有的。至此唐實現了完全的統一。