正当皇帝高兴的时候，就有人泼冷水了。．』．中书令李渊就说道：“启奏皇上，现在虽然是太平之年，那也是先皇几十年兢兢业业，勤俭守家的结果，原来的时候国库充盈，一度达到9ooo亿两银子，是何等的富裕，可是近几年来，由于朝廷大兴土木，修建皇陵不说，还挖掘运河，修建天庭园，加上几个省份有天灾，不但税收收不上来，国库银子已经不足5ooo万两了，足足去了一半，现在的消耗有点快了，我建议皇上还是勤俭持家，重整先皇的雄风”。
李渊一说，皇帝杨广就不高兴了，说了几件事都是自己的不对，无非就是自己不会过日子，说的厉害一些就是骄奢淫逸，只是李渊不敢说，自己猜也猜的出来，皇帝就气呼呼的问大殿之上的百官：“刚才李渊说我不会过日子，无非就是嫌我花钱多，可是钱就是用来花里干什么，你们说说，我说的对不对？”。户部，吏部，工部三个大臣先赞成，工部沈括就道：“李大人此言差亦，皇上富甲天下，容阔四海，无非就是花点小钱，那银子就是9ooo亿两也罢，5ooo亿两也罢，放在国库里生锈吗？皇上修建运河，是为了南北大通途，修建天庭园是为了彰显国威，修建皇陵更是人之常情，难道李大人自己就不修剪陵墓了，怎么还说皇上的不对？”。
吏部尚书许庆奎也觉得李渊是在说自己，自己主持修建大运河，可是没少收到回扣，每年的几亿两银子的回扣，要是查出来可是掉脑袋的事情，许庆奎可是不愿意：“李大人此话差亦，修建大运河是在为民造福，这是皇上的英明决断，可不是我们做臣子对策妄自揣测，我主持大运河的修整，这也是一项苦差事，李大人这些话有些影射之嫌啊？”。礼部尚书胡学义更是气愤：“启奏皇上，李渊纯粹是大逆不道，修建皇陵是百年大计，他竟然攻击皇上，的银两，简直就是不臣之心，我建议皇上，讲李渊打入死牢，斩立决”。
礼部尚书胡学义一说，吏部，工部，户部就随声迎合，李渊就大怒：“你们这些奸臣，简直就是在蛊惑皇上，要皇上做昏君吗？”，皇帝一听就怒了：“大胆李渊，竟然说朕是昏君，来人啊，打入天牢，秋后问斩”，就只见御林军就上来，就按住李渊，就要拖出去，李渊气急大骂：“昏君，既然不听忠言，早晚有亡国之恨”，皇帝更是大怒：“竟敢咒我大隋灭亡，拖出去，斩立决”。这是刑部尚书宇文化及就站出来了：“启奏皇上，太平盛世，斩杀大臣不吉利，不如将李渊降级使用，现在朔州贫困，天灾不断，不如要李渊去治理，要是五年之内不出政绩，再诛杀不晚，这样还显得皇上是大人大量，不予小人一般见识”。
皇帝是最受不得奉承得，加上最近一段时间，跟宇文化及来往的多一些，很是欣赏宇文化及，就听了宇文化及的上奏，将中书省中书令李渊罢免，降职为朔州太守，没有诏书，永世不得进京。此时的李渊，见宇文化及还为自己说话，不仅把宇文化及当做了救命恩人，心中甚是感谢，就被御林军押出了大殿。到了此时，皇帝杨广才想起钦天监说的话，乱朝者十八子。十八子不就是李吗，既然李渊也姓李，不错了。皇帝就依照宇文化及的提议，把李渊贬去朔州，渊如何乱朝，一个小小的朔州太守，难不成还要造反不成？
李渊回到家里气愤难平，对自己的四个儿子说道：“今天在朝堂之上，我得罪了皇帝，说不定哪天，有人进谗言，我们全家就遭到诛杀，还是快快收拾行装，我们连夜逃出京城，不然就来不及了”。四个儿子之中，老大李建成最是阴狠，老二李世民最是稳重，老三李元吉最是刁钻，老四李元霸最是敦厚。李世民就听从父亲的建议，赶紧收拾细软，准备逃难。李建成就说道：“爹，我们怕什么，四弟元霸，有万夫不当之勇，我们杀上朝廷，把皇帝杨广给灭了，就有爹爹做皇帝，有什么不好，何必要逃难？”。
李渊大怒：“你懂个屁，你四弟就是再厉害，也是一个人，朝廷有万千军马，不说有龙家三个王爷给皇帝镇守边疆，就是朝廷柱石靠山王手下就有1oo万军队驻守京城。就算是他不出兵，只是皇帝的八万御林军也把咱们给灭了，赶快收拾行装，再晚就来不及了”。正说间，刑部尚书宇文化及却来了，李渊就是纳闷，此时，自己已经是罪臣了，没有人敢跟自己来往，这个宇文化及是怎么回事，竟然来自己的府上：“宇文大人，您来下官府上做什么？”。此时，李渊已经不是官居一品的中书省中书令，而是西山郡朔州府的太守，就是一个知府而已，见了刑部尚书自然称下官。宇文化及几拿出了1o万两银票，递给李渊：“我知道李大人是清廉之人，家境不是很宽裕，我来送行，送上区区薄礼还希望李大人不要嫌弃”。李渊甚是感动：“宇文大人，您是我李渊的救命恩人，我现在已经被贬官，无以为报，来日要是再次达，定当厚报”。
李渊知道，自己现在是逃难，自己家里还真没有多少银子，这1o万两说不定就是救济的，也就收下了。李渊不断的跟宇文化及致谢，宇文化及则是连连谦虚：“李大人是朝廷吃的柱石，只是心直口快的了一些，应当是我辈的楷模了，此去西山郡朔州府，还希望李大人把朔州赋治理的好一些，将来再回到京城任职宰相，也未可知”。李渊却是，此时的皇帝杨广，已