听说杨素死了，炀帝非常高兴，说道：“老贼终于死了，朕没有什么怕的了。”从此以后，炀帝日夜和萧后在宫中恣行淫乐，全无忌惮。这一天喝完酒以后，炀帝对萧后说道：“前几天朕想建造游玩的地方，被杨素这老贼阻挡；想选几个美女，又被这老贼拦回。如今老贼已经死了，朕想干什么就可以干什么了，估计再也没有人敢阻拦了！”萧后说道：“虽然没有人敢阻拦了，也应该慢慢来。造了一处，再造一处未为不可。”炀帝道：“御妻之言有理。”第二天炀帝驾临偏殿，对宇文恺、封德彝二人说道：“自古以来的帝王，都有离宫别馆，作为游乐的场所。现在如此富强，如果不及时行乐，空守江山，让后人笑话。洛阳乃是天下的中心，现在可改为东京，造一所显仁宫，即可以作为四方朝拜的地方，又可以让朕在闲暇的时候逍遥游乐。两位爱卿是否能够为朕办好此事？”宇文恺奏道：“古代的帝王都有像样的宫殿让诸侯朝拜，舜有两处，文王有灵台、灵沼，都是非常豪华的宫殿。现在陛下虽然继位不久，已使胡越成为一家，造显仁宫以彰显天朝的德行，正与舜帝、文帝一样，臣等怎敢不效力！”炀帝大喜。封德彝又奏道：“天子造殿如果不够宽广，不足以壮观；如果不富丽堂皇，不足以树德。必须南接皂涧，北跨洛滨，挑选天下的良材异石与各种奇花异草、珍禽异兽，放在里面，才可以作为天下万国瞻仰的地方。”炀帝大喜，说道：“两位爱卿就尽力而为吧，朕自然不会亏待你们。”于是炀帝就传命令宇文恺、封德彝在洛阳营造显仁宫。凡大江以南、五岭以北，各样材料都要任其选用，不得违误。二人领了圣旨出去了，早惊动了满城百姓。
高颍听到了这个消息以后，连忙来见贺若弼，高颍说道：“主上骄奢无度，一点都没有君主的样子了，现在又大造宫室，这样下去社稷怎么能够长久呢？”贺若弼说道：“先朝老臣杨素已经死了，老臣中只有你我二人还在。如果咱俩不说，再没有人敢说话了，明天入朝，定当死谏。”二人就这样商量好了。
第二天炀帝早朝，众位官员朝贺完毕，高颍、贺若弼二人同出班奏道：“老臣听说圣明的君王治理国家，应当以节俭为先。昔日先帝命令杨素造仁寿宫，嫌造得太奢华，就想斩了杨素，认为这是和天下百姓结怨。从此以后先帝非常节俭，二十多年过去了，才有今天的富强。陛下正应当继承先帝的遗志，为何还要建造宫殿，劳民伤财？”炀帝说道：“朕为天子，富有四海。造一座宫殿，也用不多少民力，也花不多少钱，如何就见得劳民？如何就见得伤财？”二人又奏道：“节省就会富裕，浪费就会贫穷。今年西域裴矩开市，花费的银钱何止千万！陛下巡狩蓟北，耗费的银钱又何止万万！现在这个宫殿一定不能再建造了。天下虽大，怎么能供得起无穷无尽的消耗呢？望陛下三思。”炀帝大怒说道：“你二人屡次诽谤君父，前日在大斗谷中，因为死了几个军士，就一个诽谤朝廷没有纲纪，一个诽谤朕奢侈之极。朕念你们是先朝臣子，不忍心加罪。今天又在朝廷之上，百官之前，口出狂言，全无君臣体统！如果不斩你二人的首级，如何发泄朕心中的愤怒！”二人奏道：“臣等死不足惜，但可惜先帝的锦绣江山，就要毁于一旦了！”炀帝更加愤怒，说道：“江山就是毁了，也不容你这样毁谤君父之人！”喝令殿前带刀指挥，推出斩首示众。
众指挥看炀帝已经传下旨意，不敢不遵，只得带着军校一涌上前，把二人的管帽摘了，官服脱了，然后绳捆索绑，推出午门。二人大声喊道：“陛下杀臣，成全了臣忠义的名声，可以到地下去见龙逢、比干了。只是不知道陛下以后有何脸面去见先帝？”炀帝大骂道：“朕无脸面去见先帝，你这两个谤君的逆贼，倒有脸去见龙逢、比干？”炀帝拍着龙案，喊道：“快给我斩了！”满朝文武百官都吓得面如土色，战战兢兢，哪个还敢说话。只有尚书左仆射苏威与刑部尚书兼御史大夫梁毗一齐出班奏道：“高颍、贺若弼乃是朝廷大臣，竭忠敢谏，无非是为陛下的社稷考虑。纵使二人有罪，只可降调免职，怎么能够处以极刑，让天下人认为陛下专杀大臣？”炀帝气愤地说道：“大臣不可以杀，难道天子就可以侮辱吗？你俩和他俩一样，仗着是先朝臣子，每每互相标榜，朋比为奸！朕不斩你俩已经是万幸了，还敢来花言巧语，为他俩说话！”炀帝说完，下令免了二人的职，乱棒打出。苏威、梁毗都被贬了，谁还再敢进谏？可怜高颍与贺若弼两个忠臣，面对着面被斩了头。原来高颍的母亲非常贤明，常劝高颍急流勇退，说道：“你富贵已经到了极点，就差砍头了。”高颍不听，不幸被高母言中。
炀帝杀了高颍、贺若弼，又贬了苏威、梁毗，满朝震惊，你看看我，我看看你，没有人敢说半个不字。虞世基、裴矩等一些奸官靠着阿谀奉承，更加得势。
宇文恺与封德彝领了造显仁宫的旨意，直接来到洛阳地方，一面选择地形，破土动工，一面派人到天下各个地方，选取奇材异木以及各样珍怪之物。水路用船，陆路起夫，都运送到洛阳，搞得老百姓日夜不得安宁。不要说几十围的大木材，三五丈的大石料，就是一草一木，也不知花费多少钱粮，累死多少性命，才能够运到洛阳