杨素知道隋主最怕老婆，并且耳朵根子很软，很听皇后的话，每当到宫里吃饭的时候，杨素就夸赞晋王又有才又孝顺，想挑拨独孤皇后。女人心胸都很狭窄，又很浅薄，皇后就把晋王如何如何好，太子如何如何不好，都跟杨素说了，杨素又在一边添油加醋。皇后知道杨素是朝廷最信任的大臣，便托付他支持废立太子的事，暗地里还送给他很多金银财宝。杨素当初是希望皇后帮助他，现在反过来了，皇后反而让他帮忙，他知道这个事情一定能够成功了。从那以后，杨素经常在隋主面前搬弄是非，又暗地里让与他关系好的大臣进谗言，热一句冷一句的说太子的不是。
常言说积毁成山，三人成虎，在开皇二十年十月，隋主御驾武德殿，宣召废除杨勇的太子位，贬为平民百姓。皇子长宁王杨严上疏求情，想让杨勇做一个宿卫，隋主动了怜悯之心，却被杨素挡了下来。还有两位大臣直言进谏，为杨勇开脱，隋主只听信杨素的，把这两个人推出午门外斩首示众。到了十一月，杨素又劝隋主立晋王为太子，让宇文述担任东宫侍卫首领。晋王接到圣旨以后，心花弄放，立即上表奏谢，挑选一个好日子和萧妃进了京城，居住在了东宫之内。杨广表现得十分孝顺，每天都给父王母后问安。隋主见他如此，也非常高兴。
独孤皇后天生就是一个非常嫉妒的人，皇宫里的宫妃采女，虽然一个比一个漂亮，隋主只能看看，一个都不敢宠幸。这一天，独孤皇后身体有点不舒服，没有精神，躺在床上休息。隋主得了这个空，就带着一个小太监到宫里各处游玩。先来到口鹊楼，又去了临芳殿，看见那些才人、世妇、嫔妃成排成对，虽然都打扮的花枝招展，争奇斗艳，但是隋主一个没有看上，继续朝前走，来到了仁寿宫。也是天缘巧合，只见一个亭亭玉立的少年宫女正在那里卷珠帘，她一回头看见了隋主，一阵惊慌，放下手中的活赶紧给隋主磕头，起来以后，低着头站在一边。隋主仔细一看，只见这个宫女长得很漂亮，花容月貌，千娇百媚。
隋主问道：“你是什么时候进的宫？我怎么没有见过你啊？”这个宫女赶紧跪下回道：“奴婢是尉迟回的孙女，自从进宫以后，就被娘娘分派在这里，不允许随便出入，所以未曾见过皇爷。”隋主笑着说道：“赶紧起来吧，今日娘娘不在，就是随便出入也没关系。”俩人正说着话，一个太监过来请隋主回宫吃晚饭。隋主说道：“我今天晚上就在这里吃饭。”不大一会儿，就在仁寿宫摆好了一桌酒席，隋主就叫这个宫女坐在旁边一起喝酒。尉迟女本来酒量就小，看到隋主喜爱，就勉强喝了几杯，脸上红红扑扑的，更显出几分妩媚，隋主当天晚上就留宿在仁寿宫了。
第二天隋主起来去上朝，心情舒畅，满心欢喜，说道：“今天我才知道当天子的快乐，但是如果让皇后知道了该怎么办啊？”
独孤皇后虽然生病了，还是放心不下，不时地派心腹太监打探隋主的行踪。听到这个消息以后，她的心头立即生出一团怒火，也顾不上生病不生病了，带着几十个太监宫女，气势汹汹地来到了仁寿宫。尉迟女刚刚起床，正在梳妆打扮，猛然看见皇后带着一队人冲了进来，吓得面如土色，就像有一只小鹿在心头乱撞，急忙跪在了地上。
独孤皇后一走进门，脚步还没有站稳，就叫人把尉迟女拖过来。众人哪管她杨柳细腰，花容月貌，拽头发的拽头发，扯衣服的扯衣服，硬把尉迟女拖到皇后的面前。皇后骂道：“你这个不要脸的贱奴！仗着有几分姿色，竟然敢迷惑圣上，败坏我宫中的法度！”尉迟女战战兢兢地说道：“奴婢虽然是个下贱之人，也知道娘娘的法度，怎么能敢迷惑万岁爷呢？也是命里该死，怎么也想不到昨天晚上万岁爷忽然要在这里吃晚饭，还喝醉了，要在宫里留宿。奴婢虽然再三推辞，万岁爷就是不听，没有办法我只好顺从了他。这是万岁爷的意思，与奴婢没有关系，请娘娘可怜可怜我吧，免我一死。”皇后大声说道：“你这个贱奴！昨天晚上是不是很快活？不知道你怎么样装娇卖俏，哄骗那个没有廉耻的皇帝。现在却花言巧语，推得这么干净！”又对左右喝道：“给我狠狠地打！”尉迟女急忙趴在地上磕头，说道：“请娘娘饶命！”独孤皇后冷笑一声，说道：“万岁爷这么喜欢你，你应该求他饶命，为什么昨天晚上快活了，今天却又来求我？你这样的奴才，只因为我稍微疏忽了一点，万岁爷就被你哄骗到手了。今天就是打死你，也不能解我心头之恨！怎么能留下你这个祸根，成为我的心腹之患！左右快快结果了她的性命！”众人听了，下狠手打了起来。可怜一个如花似玉，娇滴滴的少女，哪能经得起这样的狂风暴雨，不大一会功夫就香消玉碎了。
隋主早朝结束以后，心里还想着昨天晚上的快活事，恨不得一步就走到仁寿宫里和尉迟女欢聚。进了宫以后，只见独孤皇后横眉冷目，像一个恶神一样站在那里，尉迟女血淋淋的在地上躺着，一动不动。隋主大吃一惊，心中十分恼怒，一句话都没有说，转身就往外走。一个小马童看万岁爷要出去，赶紧牵过来一匹黄骠马，隋主翻身上马，直奔朝门而去。隋主真的生气了，他甚至想要离开皇宫，进入山野之中再也不回来了。幸好高颍从外面回来，正好遇见隋主，拼着老命