尚恐他有变动，特令敞暗中监守，毋使狂纵，敞随时留心，常遣丞吏行察。嗣又亲往审视，见贺身长体瘠，病痿难行，著短衣，戴武冠，头上插笔，手中持简，蹒跚出来，邀敞坐谈。敞用言探视，故意说道：“此地枭鸟甚多。”贺应声道：“我前至长安，不闻枭声，今回到此地，又常听见枭声了。”敞听他随口对答，毫无别意，就不复再问。但将贺妻妾子女，按籍点验。轮到贺女持辔，贺忽然跪下，敞亟扶贺起，问为何因？贺答说道：“持辔生母，就是严长孙的女儿。”说完两语，又无他言。严长孙就是严延年，前因劾奏霍光，得罪遁去。及霍氏族灭，宣帝忆起延年，复征为河南太守。贺妻为延年女，名叫罗
宣帝方以为贺不足忧，下诏封贺为海昏侯，食邑四千户。海昏属豫章郡，在昌邑东面，贺奉诏移居后，昏愚如故。侍中金安上奏白宣帝，斥贺荒废无道，不宜使奉宗庙，宣帝乃但使贺得食租税，不准预闻朝廷典礼。已而扬州刺史柯，又复奏称贺有异志，与故太守卒吏孙万世交通。万世咎贺不杀大将军，听人夺去玺绶，实属失策，且劝贺谋为豫章王。贺亦自悔前误，意欲自立为王等情。宣帝虽将原奏发交有司，心中已知贺无材力，不能起事，所以有司复奏，请即逮捕，有诏谓不屑究治，只削夺贺邑三