却人丁单薄，渐渐归于沉寂，不复先祖之绚烂。
然而兴起于秦汉的琅琊王氏家族，在西晋末年的永嘉之乱时举族迁居长江以南避乱，司马睿在王氏家拥戴之下，于建康建立东晋，中兴晋室。王氏地位举足轻重，地位名望之高，其他家族根本无法取代，当时的天下流传一句佳话：“王与马，共天下！”
东晋一朝，也只有在淝水之战中崭露头角的谢氏与之平肩，被后人合称“王谢”。
只可惜‘旧时王谢堂前燕，飞入寻常百姓家’
由于王谢过多参与朝政，表现得太过强势，再加上后继无人，在南北朝末期没落了，诸多本土士族借机发难，加上统治者对王谢曾经的霸道深有余惧，致使两族没落得相当彻底，除了保留诗书传家的传统，影响力根本到不了淮水。
现在，江南士族的主导权又轮到了‘吴四家’，本来吴兴沈氏一族即可威压四族，但因为沈法兴出自沈氏，当他被李密歼灭之后，沈氏就倒了大霉，虽说李密没有灭其族，但很多出类拔萃的沈氏子弟尽皆丧命在战争之中，沈氏地位一落千丈，再也没有具备与任何一族叫板的实力。
这也使得荣辱与共数百年的‘吴四姓’，成为江南士族当之无愧的领头羊。当年杨广大力扶