李渊本来是隋王朝的贵族，靠承当祖上的爵位，当上了唐国公。公元６１７年，隋炀帝派他到太原去当留守（官名），镇压农民起义，开始他也打过几个胜仗，之后看到起义师越打越强，越打越多，他也感到镇静起来了。
李渊有四个儿子。第二个儿子李世民那时候刚十八岁，是个很有胆识的青年，平时喜欢结交有才能的人。人们也觉得他慷慨好客，喜欢跟他打交道。他看准隋朝的统治长不了，心里早有了自己的打算。
晋阳（今山西太原）县令刘娴静，十分注重李世民。李世民也把他看作知心朋友。刘娴静跟李密有亲戚干系。李密参加起义师以后，隋炀帝下令捉拿李密亲友。刘娴静受到株连，被革了职，关在晋阳的牢监里。
李世民听到刘娴静坐了牢，十分着急，赶到牢监里去探望。
李世民拉着刘娴静的手说：“刘大哥，我来探望，不但是为了叙叙友情，主要是想请您帮我出个念头。”
刘娴静早就知道李世民的心思。他说：“现在皇上远在江都，李密逼近东都，到处都有人造反。这倒是打天下的好时机哩。我可以帮您收集十万人马，您父亲(father)手下另有几万人。如果用这支力量起兵，打进长安，命令天下，不出半年，可以取得天下。”
李世民高兴地说：“您真说到我心里去了。”
李世民回到家里，想想刘娴静的话，越想越觉得有道理。但是要说服他父亲，倒是个难题。正幸亏这个时候，太原北面的突厥（我国现代北方民族之一）可汗进攻马邑。李渊派兵抵抗，连接打败仗。李渊怕这件事给隋炀帝知道了，要追究他的责任，急得不知道要怎么办。
李世民抓住这个机会，就找李渊劝他起兵反隋。李渊一听，吓得要命，说：“你怎么说出这种没上没下的话来。要是我去报官，准会把你抓起来。”
李世民并不畏惧，说：“父亲要告就去告吧，儿才不怕死呢。”
李渊当然不会真的去告发，只是叮嘱他以后别说这样的话。
第二天，李世民又找李渊说：“父亲受皇上的委派，到这里讨伐反叛的人。可是眼看造反的人越来越多，您能讨伐得了？再说，皇上猜忌心很重，就算您立了功，您的处境更加危险。只有照我昨天说的办，才是唯一的出路。”
李渊犹豫了许多时候，才长叹一口气说：“昨天夜间，我想想你说的话，也有道理。我也拿不定念头。从现在起，是流离失所，依然能化家为国，就凭你啦！”
李渊把刘娴静从晋阳牢监里放了出来。刘娴静帮助李世民，分头招兵买马。李渊又派人把正在河东打仗的另两个儿子李建成和李元吉召了返来。
太原的两个副留守看到李渊父子的行为反常，想出来阻挠。李渊借口他们勾搭突厥，把他们抓起来杀了。
李渊又服从刘娴静的计策，派人备了一份厚礼，到突厥可汗那里媾和，约他一路反隋。突厥可汗觉得这样做对他们有利益，就答应帮助李渊。
李渊稳住突厥这一头，就正式起兵反隋。李渊自称大将军，派李建成和李世民辨别做左右领军大都督、刘娴静做司马，又把兵士都称为“义士”。他们带领三万人马离开晋阳，向长安进军。一路上持续招募人马，而且学农民起义师的做法，打开官仓发粮给贫民。这样一来，应募的百姓就越来越多了。
唐军到了霍邑（今山西霍县），遭到隋朝将军宋老生的拦击。霍邑一带道路狭隘，又正赶上接连几天大雨，唐军的军粮运输中止了。兵士中还纷纷相传突厥兵正预备偷袭晋阳。李渊刚强起来，想撤兵回晋阳去。
李世民对李渊说：“现在正是秋收时节，野外里有的是粮食，哪怕缺粮！宋老生都没有什么可怕。我们用义兵的名义召唤天下，如果还没打仗就后撤，岂不叫人失望。回到晋阳，是断断没有生路的。”
李建成也支持他弟弟的主张。李渊这才改变了念头，取消了撤兵的打算。
八月的一天，久雨刚刚放晴。唐军一早沿着山边巷子，急行军来到霍邑城边。李渊先派建成率领几十个骑兵在城下挑战。宋老生一看唐军人少，亲自带了三万人马出城。李世民带兵居高临下从南面山头冲杀下来，把宋老生的人马冲得七零八落。宋老生赶忙转头想逃回城去。李渊的兵士已经占了城池，把城门关得紧腾腾的。宋老生走投无路，被唐军杀了。
唐军攻下霍邑以后，持续向西进军，在关中的农民军的配合下，渡过黄河。留在长安的李渊的闺女(daughter)也招募了一万多人马，号称“娘子军”，响应唐军进关。
李渊聚集了二十多万大军攻打长安。守在长安的隋军，要想抵抗也没用了。李渊攻下长安以后，为了争取民心，宣布约法十二条，把隋王朝的苛刻法令一概废除，而且暂时让隋炀帝的孙子杨侑（音ｙòｕ）做个挂名的天子。
第二年（公元６１８年）炎天，从江都传来了隋炀帝被杀的新闻，李渊才把杨侑废了，自己即位称帝，改国号为唐。这就是唐高祖。