却说隋左卫大将军杨惠，佐命有功，易名为雄，初封邗国公，旋且晋封广平王，见八十一回。职掌禁旅，宠绝一时。长安人士，号为四贵中第一人。四贵除杨雄外，就是苏威、高颎、虞庆则。雄又宽容下士，甚得众心。隋主坚因此加忌，改拜雄为司空。雄知隋主夺他兵柄，虚示推崇，乃杜门谢客，不闻政事。寻改封为清漳王，未几又改封为安德王。还算明哲保身。滕王杨慧，亦见八十一回。曾尚周武帝邕妹顺阳公主，美秀而文，时人号为杨三郎。隋主命为雍州牧，且常引与同坐，呼为阿三，嗣复易名为瓒。瓒虽为隋主同母弟，但因隋主篡周，屠灭宇文氏，未免目为残忍。顺阳公主，轸念宗亲，更觉得日夕悲伤，阴生咒诅；且与独孤后素不相容，益增怅触。独孤后家世贵盛，姿禀聪明，书史无所不晓，隋主甚加宠爱。每当隋主临朝，后輙与并辇而进，至阁方止。密遣宦官伺察朝政，稍有所失，便即记忆，俟隋主退朝，同返燕寝，婉言规谏，十从八九，宫中号为二圣。又尝与隋主密誓，不得有异生子。悍妒可知。看官！试想独孤后如此专宠，怎能不恨及顺阳公主，从中构煽呢？果然隋主听信后言，劝瓒离婚。瓒暱情伉俪，不忍相离，再三乞请，始蒙隋主俞允，但从此恩礼益衰。开皇十一年，瓒从事栗园，侍宴方终，忽然腹痛异常，片刻即毙。隋主坚并未加赠，且徙出顺阳公主，除去属籍。看官不必细猜，便可知瓒被毒死了。是夕，上柱国郑译病死，却遗书吊祭，赐谥曰达。朝臣因瓒不得谥，代为申请，才勉强谥一“穆”字。
太子通事舍人苏夔，系尚书右仆射苏威子，少年能文，尤长音律，本名伯尼，因以知乐著名，威特令改名为夔。越公杨素，每加器重，尝戏语威道：“杨素无儿，苏夔无父。”是时夔与国子博士何妥等，共议正乐，互有龃龉，相持不决，并使百僚会议。大众多阿附苏威，不敢黜夔。于是赞同夔议，十得八九。妥愤愤道：“我席间函丈四十余年，为后生小子所屈辱么？”遂上书劾威父子，并及礼部尚书卢恺，吏部侍郎薛道衡，尚书右丞王弘，考功侍郎李同和等，说他朋比为奸，滥用私人。隋主令第四子蜀王秀，秀本封越王，见八十一回，后复改封蜀王。及上柱国虞庆则等，推按得实，乃免威官爵，令以开封就第。卢恺私受威嘱，用王孝逸为书学博士，因坐罪除名。薛道衡等但加薄谴，未曾免官，遂任杨素为右仆射，与高颎共掌朝政。素风度比颎为优，器量远不如颎，朝贵如苏威以下，多被陵蔑，遂致侧目。大将军宋国公贺若弼，尤为不服，且自思功出素右，理当为相，至此反为素所夺，越觉不平；有时入朝晋谒，语多不逊，隋主坚与语道：“我用高颎、杨素为宰相，汝尝谓此二人只能儉饭，究是何意？”若弼应声道：“颎与臣故交，素系臣舅子，臣素知二人材具，原有此语。”骄矜已极。隋主不禁变色。公卿等仰承风旨，遂劾若弼意存怨望，罪当处死。隋主即谕令系狱，未几又召问道：“臣下守法不移，公可自思，有无生理？”若弼道：“臣将八千兵擒陈叔宝，愿因此事望活。”叔宝为韩擒虎所絷，若弼仍引为己功，始终不脱一矜字。隋主道：“这事已格外重赏。”若弼道：“臣今还格外望活。”隋主踌躇良久，始贷免死罪，革职为民。过了年余，乃仍赐还爵位。苏威亦复爵邳公，仍为纳言。上柱国韩擒虎与若弼互争短长，也是个矜才使气的人物，幸亏享年不永，尚得善终。
相传开皇十六年十一月，擒虎在家，邻母见擒虎门前，仪卫甚盛，因不禁诧问。卫吏答道：“我等特来迎王。”言讫不见。已而邻人暴疾，忽惊走入擒虎门，为门吏所阻，病人大言道：“我来谒王。”门吏问为何王？病人答称阎罗王。两下里喧噪起来，为擒虎子弟所闻，出探得实，欲挞病人。擒虎亦闻声出阻，遣归病人，且语子弟道：“生为上柱国，死作阎罗王，我愿亦足了。”是夕便即罹疾，未几即逝，享年五十有五。究竟擒虎是否作阎罗王，此事无从确证，但不过付诸疑案罢了。
越年二月，隋主命杨素至岐州北，督造仁寿宫。素奏举宇文恺、封德彝为土木监，恺与德彝，专知谀媚，一经委任，格外效力监工，于是夷山堙谷，创立宫殿，崇台累榭，相属不绝。可怜这班丁夫工匠，昼不得安，夜不得休，害得身疲力乏，也没有医生疗治，到了奄奄就毙，便把尸骸推入坑谷，尸上填尸，差不多似小山一般。当下充作基址，筑成平地，好容易过了两年有余，才把仁寿宫造成。端的是规模闳丽，金碧辉煌，只人数却死了万余，模模糊糊的上了一个总帐。完全是膏血涂成，怎得称为仁寿？
隋主坚令仆射高颎，前往探视，还称奢华过甚，徒伤人丁。隋主本来节俭，得颎复奏，当然恨及杨素。素颇加忧惧，急遣人密启独孤后，谓：“历代帝王，统有离宫别馆，今天下太平，仅造一宫，何足言费？”独孤后即日复报，叫素不必耽忧，自然有法转圜。既而隋主坚亲往仁寿宫，巡视一周，果嫌太侈，便召素面诘道：“朕叫汝督造此宫，原因汝老成勤慎，酌量丰俭，能体我意，为何造得这般绮丽，使我结怨天下？”素无言可答，不得不叩头谢罪。隋主坚全不理睬，自往便殿小憩。素忐忑不安，恐遭严谴，封德彝密语道：“公勿过忧！俟皇后到来，必有恩诏。”