不管李渊是不是出身在他做了皇帝后坚称的陇西李氏（陇西李氏“望出陇西”是千百年的传承），但不能否认的是，李渊是出身在权贵世家的。在李渊的祖父李虎时，其家族就开始飞黄腾达。李虎因为积极参与后魏权臣宇文泰的政变并获得成功，与宇文泰、太保李弼、大司马独孤信等八人一起被称为“八柱国”，为西魏的开国功臣，封爵陇西郡公，官为太尉，还被赐予鲜卑姓大野氏。由于李虎和当权的宇文泰交情很深，在宇文泰的儿子篡西魏建北周时，虽然他本人已死，仍被追封为唐国公。至此，李渊的家世就与唐联系起来。所谓唐，就是传说中尧舜禹中的唐尧之唐。
李渊的父亲李昞是李虎的第三个儿子，因为李虎的长子次子都死的早，所以李虎死后，李昞就袭爵陇西郡公，后来因功被加封唐国公。曾任北周安州总管，柱国大将军。据记载他从小受到父亲李虎的良好教育和影响，一边学文，一边习武，练就一个好身板，练出一手好武艺。善长使用长枪，舞起来好似蛟龙出水，神出鬼没；敢拉硬弓，百步穿钱，百百中。十三、四岁就骑上骏马，随父亲南征北战，拼命杀敌，建有许多战功。东西魏时，两国经常生战争，他在父亲麾下经常参加战斗。一次交战中，西魏少帅宇文觉（后来的北周皇帝）被东魏高洋打败，一路拼命逃跑，后边紧追不放，眼看于文觉就有生命危险。李昞手疾，搭箭射去，正中高洋左臂，险些落马，于文觉因此得救。回朝后升李昞为将军。八柱国之一的独孤信，看李昞英勇有为，相貌堂堂，便托人向李虎家求婚，将四女儿独孤氏许配给李昞。这场婚姻后李渊家族成为了北周和隋朝的皇亲国戚，这对于李渊家族后来的展有着至关重要的影响。
原来这孤独信女儿众多，其中长女嫁给北周世宗明皇帝宇文毓妻，后来被追封为明敬皇后；七女独孤伽罗，即杨坚的妻子后来的文献皇后，而李昞娶的是孤独信的四女儿。所以这李昞还是杨坚的姐夫。细论起来，李渊乃是杨坚的内甥，杨广的姨表兄弟。在那个极其注重家庭门第出身和姻亲关系的时代，父亲与母亲的出身为李渊的后来获得了很多人不具备的极大便利。他自言“承七叶之余庆，资五世之克昌；遂得地臣戚里，家称公室”，正是真实的写照。
李昞死后，家里的几个儿子相继早亡，所以七岁的李渊继承了他的爵位唐国公。但爵位并无实权。因为李渊是杨坚的亲家人，“由是特见亲爱”“以故文帝（杨坚）与高祖（李渊）相亲爱。”所以李家深受杨隋的重用。十五岁时就被姨夫杨坚破格提拔为的贴身侍卫“隋受禅，补千牛备身”，从此步入政坛。千牛备身这是贵族子弟的进身之阶。不过因为年轻的缘故一直到杨坚在世时，李渊也只是做到地方州郡一级的最高行政长官——刺史（后称太守）。李渊的官位是在表弟杨广做了皇帝后，开始一路飙升的。
杨广一登基，李渊就被升为荥阳、楼烦二郡太守。不久，就调任朝廷担任了殿内少监，成为大隋帝国权力中枢里的重要人员。大业九年又提升他为卫尉少卿。是他表弟让他从地方进朝廷的。是他表弟让他掌握军政大权的。当国家大规模讨伐高丽之时，杨广对李渊这位表兄还是十分照顾的，没有让这位当时著名的神箭手去前线，而是让他在安全后方督运粮草。大业十一年，李渊被拜为山西河东抚慰大使，大业十二年李渊升为右骁卫将军。李渊大业十三年成为太原留守，掌管太原、雁门、马邑、楼烦、西河五郡，以说李渊彻底掌握了国家的边关重镇与军事大权。在一些史书中说杨广一直对李渊不放心，一直打压他，这与实际上步步高升、官运横通的李渊待遇是相符矛盾的，这其实是李渊做了皇帝后为自己反杨广找借口的。否则能说杨广对李渊恩德隆盛，李渊却还反杨广吗，这不是说李渊不忠吗？
一千多年来，没有多少人了解李渊的才能，多数人认为他是平庸之辈，习惯把唐朝开国的功绩算到他的儿子、唐太宗李世民头上。造成这种现象的原因除了自己在晚年的时候作为开国皇帝被儿子逼下位外，更重要的原因是是初唐李世民的史官有意识地丑化李渊，篡改开国历史以正李世民之名。
其实真正的李渊以说的上是能文能武，并且不是一般的文武双全。在武方面如果他不是很出色的话就娶不到妻子窦氏。李渊的妻子窦氏，本是家世不凡的一女中豪杰；父名窦毅，曾仕北周为上柱国，娶周武帝之姊襄阳长公主为妻。窦氏出生时，垂过颈，三岁便与身齐。周武帝特爱重之，授读《女诫》、《列女传》等书，窦氏皆过目不忘。及杨坚篡周，窦氏泪流满面自投床下，慨然道：“恨我非男子，不能救舅家。”窦毅与长公主忙掩其口说：“切毋妄言，吾族将被灭。”自是，夫妻二人暗暗惊异，窦毅对长公主道：“此女有奇相，且智识不凡，宜为她小心择婿。”
因此，夫妻二人也就有了比箭招亲的打算。到了窦氏该成亲的年纪时，窦毅便命人在府门内的屏风上画两只孔雀，凡有人求亲，便赐箭二支，命其试射孔雀，并与之私下约定，只有射中孔雀双目，方将女儿许配给他。一时王孙贵胄，争来角射，门坎几乎踏穿，前后数十人，人人张弓箭，偏偏无人射中目标，角射者只好乘兴而来，败兴而去。唯独李渊后至，不慌不忙，