任何制度有利也有弊，汉朝实行察举制度，本来是选举社会上德高望重的人，随着时间的推移，请托舞弊已经非常寻常了，察举制度也完全失去了其创的本意，加之那时人们读书的机会非常少，古代书籍都是用竹帛书写的，很少用纸张，更没有印刷。
印刷自唐宋时才开始，因此抄一本书费用就大了，因此读书受到很大的限制。
当时一个读书的家庭很容易变成一个做官的家庭，同时也就有钱有势。谁若是做了几个郡的太守，各地经他荐举的便都是他的门生故吏，如在政治上得意了，少不了对原来荐举他的人报些私恩。
汉代的选举制度是分名额的，于是每郡有限的几个名额便永远落在几个家庭里。这样就造成了以后的世族门第，也就是魏晋时期的士族了。
加之西汉后期实行纯儒政治，朝纲不振，而士族是极端腐朽的，这样汉族就开始慢慢地衰落了。
东汉虽然继续对外扩展，但由于朝纲不振，宦官、外戚、士族纷争不休，东汉就这样内耗完了，结果引起了天下大乱。
在大乱中，一些杰出的人物试图挽救帝国的衰落，其中最著名的要数曹操了。当董卓为乱的时候，他募兵数千参加以袁绍为盟主的讨董大军，袁绍等人共有兵十几万，谁也不敢跟董卓作战，只有曹操带领几千人单独进攻，虽然大败，但却证明曹操的胆略和气魄是非凡的。
曹操重视农业，提倡节俭，严禁厚葬和淫祀，实行法家政治，建立起国家的法纪。这些都直接或间接地保证了农业生产的进行，黄河流域遭到破坏的经济在曹操的统治之下逐步恢复。
为了打破士族在政治上的垄断地位，曹操试图用“不仁不孝而有治国用兵之术”的微贱人来冲淡士族的势力，减轻取代汉朝的阻力。但士族势力依然很大，曹操只好决心做“周文王”了。
曹丕行九品官人法，取得士族的拥护顺利代汉。曹丕在洛阳建都，在汉宫的基础上兴修宫殿。魏明帝大造宫殿园囿，掠夺民间美女，荒淫无度，从此库藏空竭，百姓怨苦，曹氏政权进入衰落期。继起的司马氏政权不是不腐朽，而是不敢过度腐化，中原地区的经济逐步发展，加上汉、吴统治集团衰落不堪，到晋武帝时中国又重新统一。
晋朝代魏又对士族做除了巨大的让步，士族的势力更大了。士的严格含义是儒生，司马昭死后，晋武帝不听群臣苦劝，要仿照儒生坚持行三年丧礼。从来没有一个国君或皇帝行过三年之丧，他一定要这样做，无非是表示自己是一个纯粹的士族。士族以世代文儒为贵，如果祖先曾经做过武将或其他杂业就不算纯粹。
西晋统治阶级的当权派是高级士族里拥护司马氏的一派，即司马氏集团，人类具有的所有恶习如凶恶、险毒、猜忌、攘夺、虚伪、奢侈、酗酒、荒淫、贪污、吝啬、颓废、放荡等等龌龊行为，司马氏集团表现的最为充分。这样汉族上层彻底衰落了。随着五胡内迁，民族矛盾与阶级矛盾交织在一起，中国陷入了长达三百多年的混乱，直到隋朝统一。
在这三百多年的时间里，汉族遭到了有生以来最大的冲击，北方的汉族直接面临其他民族的统治，这在中国历史上是空前的。
长达三百多年的冲击不但没有消灭汉族，反而为汉族的再一次强盛蓄积了力量。关键是汉族已经形成了世界第一大民族，是很难被消灭或同化的，况且这三百多年汉族并没有全部沦陷，汉族在南方依然有自己的国家，东晋南朝成了所有汉人的归向和留在北方汉人反抗其他民族压迫的精神寄托，其他民族对东晋南朝的存在也有所顾忌，即使他们一时建立了国家，对汉族并没有完全的征服感而仰慕汉文化，尊敬汉族上层分子并为己所用。其他民族与汉族合流的另一个主要原因是当时进入北方的民族不是一个，有匈奴、鲜卑、羯、氐、羌等众多的民族，这些民族之间又存在着尖锐的矛盾，当一个民族建立政权自称国人而压迫其他民族时，汉族与其他被压迫民族就有了更多的一致性，匈奴、鲜卑、羯、氐、羌等民族建立的政权更替是非常频繁的，这样汉族与所有民族的接触面就更广了，合流是不可避免的。
其他民族同归于汉而在中国历史上消失了，但是汉族本身却发生了很大的变化，最大的就是汉族的血统发生了变化，当时的其他民族不能用少数来表述，当时的关中地区人口百万，而氐、羌两民族就占到了一半，其他地区也低不到哪里去。
当汉族第一次衰落的时候，匈奴、鲜卑、羯、氐、羌等民族进入中原，给汉民族注入了一股新鲜血液，同时去掉了汉民族的腐朽堕落气息，拯救了汉族，使汉族再一次以隋唐盛世的姿态震惊了世界。
元朝胡三省注《资治通鉴》时感慨到：“呜呼！自隋以后，名称扬于时者，代北子孙十居其六，民族之辨，国何益哉？”从姓氏来源看，隋唐时的重要人物固然多是鲜卑人，从文化水准看，他们已是优越的汉族，实际上再也没有必要辨别他们的民族。
唐朝灭亡后汉族再一次衰落了，而这一次却没有那么幸运，相继南下的蒙古和满洲彻底征服了汉族，虽然不同程度接受了汉文化，但都注意保持本民族的特色，更主要的是别人自恃血统高贵，根本就没有与汉族合流，所以汉族一直衰落至今，尽管今天的物质力量超出了几十万倍，