不过聂其昌除了一手上好丹青之外没有其他任何值得夸耀的地方，时间一久，唯唯诺诺的他受到三弟和四弟的嫉妒，只是碍于大嫂显赫的家世不敢轻举妄动。
好在聂其昌性格比较随和，而且精力全部投入到丹青之中，遇到大事从来不自己善作主张，一大家子表面上看起来还比较和谐。
和平年间这样的情况可能会一直持续下去，但战争年代，一个大家族想要生存下去，就必须要有一个强而有力的领头人，聂其昌这种唯唯诺诺的性格是大忌。
在举族搬迁到省这点上，聂其昌就犯下了一个大错误，当别的家族都早早做好了迁往省的准备时，他犹豫不决，家族会议开了十几轮却始终没有下定决心，一直等到国民政府都搬迁到重庆才动身，结果这个时候省已经被其他家族瓜分完毕，最后只剩下南边的一小块地方留给了聂家。
这块地方靠近湖南和贵州的交界处，除了大山密林什么都没有，聂家也因此从八大豪族的中游变成了垫底。
聂其昌的错误决策导致家族成员的强烈不满，在一个家族大会上，蓄谋已久的三弟和四弟趁机对其发动猛烈攻击，最终以聂其昌下台，三弟和四弟成立“联合族长”一事告终。
从这个时候开始，聂其昌的地位一落千丈，其子女也成为了“家族旁支”，1949年gmd败退台湾之后，聂其昌的子女除了嫡支之外，其余旁系大多成为了弃子，被遗忘在内陆，聂荣正是其中之一。
但从谢老和聂荣的对话来看，聂荣并不只是被遗忘在大陆的弃子，而是主动留下来的，目的就是抓住机会重掌聂氏家族的大权！