余氏宗族作为枫叶城乃至零陵县都是能够说的上话的豪门贵族，与其王，林，李并称四大豪门，但事实上却是不止，只是因为这四大家族长据零陵已有年头，并且不断在大鱼吃小鱼中生存下来然后就只剩下这最后四只大鱼，关于建立总部之事余氏宗族也与其他三大豪门截然不同，因为它的总部是建立在乡下小镇，名为岐山镇，传闻之中是周朝时期姬发见到凤凰的地儿，而如今的余氏宗族就是周朝姬幽的遗失嫡系血统，但无从考证，就如同那刘备所谓的汉室宗亲的名头一样，无人信服。
至于余氏宗族为何选在乡下小镇建立总部的原因流言也是颇多，有说是不想与世争斗，只想偏隅一方，也有传闻说是余氏宗族没有与其他三大豪门贵族争斗的能力选择退场去与小鱼小虾争斗。
流言颇多，余氏宗族选择听之任之，其余三大豪门世家也没有因为流言去探究余氏宗族是否真是没了争斗实力。乱世当道，经历过不知道多少次大鱼吃小鱼最终生存下来的豪门就算是病了，也有鱼死网破的能量，况且四大豪门暗中不知争斗过多少次，对方的尿性又岂会不知一二，不光是因为财力底蕴，以及武力帮衬，自古都有旧文富武的话，其他家族就光大力发展武力，而余氏宗族就是个异类，选择走双路线