李渊据说是西汉名将李广和十六国时期西凉国开国君主李暠之后裔。因为隋文帝的独孤皇后是李渊的姨妈，所以身为“官二代”的李渊仕途一直很顺，北周时历任御史大夫、安州总管、柱国大将军。隋炀帝即位后，李渊任荥阳(今河南郑州)、楼烦(今山西静乐)二郡太守。大业十一年(615年)，拜山西河东慰抚大使。在拜山西河东慰抚大使期间，李渊展示出了高超的武功，史书记载，他与龙门贼作战，“射七十发皆中，贼败去，而敛其尸以筑京观，尽得其箭于其尸”。后来又与绛州贼柴保昌部作战，“降其众数万人”。侵犯边境，李渊巧设伏兵，以少胜多，打败了。两年后，李渊升为太原留守，成为封疆大吏。

　　当时，人民不满隋炀帝的暴虐统治，纷纷起义，隋朝的政局陷入之中。看到很多人起兵反隋，隋炀帝愈加疑神疑鬼，以“猜忌杀戮大臣”。他曾经召李渊去江都议事，正赶上李渊生病，不能前行。隋炀帝便心生猜忌，问：“可得死否?”李渊知道此事后非常害怕，不知道该怎么办，只好借酒浇愁。

　　就在老爸还为如何避祸而纠结之际，二儿子李世民已经着手做起兵反隋的准备工作了。《资治通鉴》载：“世民聪明勇决，识量过人，见隋室方乱，阴有安天下之志，倾身下士，散财结客，咸得其欢心。”背着老爸，李世民招纳死士，与刘文静、裴寂等人谋举大事。为了让老爸下决心造反，李世民还与裴寂密谋，故意让李渊犯死罪。裴寂选隋炀帝晋阳行宫的宫人私侍李渊。

   李渊不知，在稀里糊涂中就睡了“皇帝的女人”。事后，李渊与裴寂饮酒，酒酣之际，裴寂才把要起兵反隋之事告诉李渊，李渊大惊。裴寂接着说：“我选的那个侍奉您的女人正是隋炀帝的晋阳宫人，这事若被隋炀帝知道，您犯的也是死罪。我们这么做，为的就是促使您下决心起兵反隋。”

　　李世民也劝李渊起兵，他说：“现在皇上无道，百姓穷苦。您若守小节，下有寇盗，上有严刑，隋朝很快就会亡掉了，反不如趁机起兵反隋，转祸为福。”李渊最初不答应，还把二儿子李世民抓了送官。李世民说：“我看天下大势就是这样，所以才这么劝您。您要非把我抓了送官府，您就抓吧。”遇到了强悍的儿子，李渊也没脾气了，说：“我这么喜欢你，怎么忍心向官府告发你呢?”

　　后来经李世民、刘文静、裴寂等人的再次劝说，李渊遂在大业十三年(617年)五月起兵反隋。李渊反隋后，一面遣刘文静出使，请求始毕可汗派兵马相助，一面招募军队，率师南下，趁李密与王世充在洛阳激战正酣之际，乘隙进取关中。

   十一月，李渊攻下长安，在关中站稳了脚跟。李渊入长安后，立炀帝孙代王杨侑为天子(隋恭帝)，改元义宁，杨侑尊隋炀帝为太上皇;又以杨侑名义自加假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王，总理万机。

   次年(618年)，李渊称帝，改国号唐，定都长安。不久唐统一了全国。