贺若弼的家中珍宝古玩，不计其数，穿绮罗的婢妾就有几百人。
贺若弼做这些，本就过份了，他自认为功名在群臣之上，常常以宰相自居。
杨素担任右仆射，贺若弼仍是将军，他感到不平，到处宣言说高赹、杨素就是酒囊饭袋，有什么资格当宰相！
他这话被杨坚听到了之后，再也忍耐不住，罢免了贺若弼的官职！
这样一来，贺若弼更加的不满了，到处宣泄。
杨坚听了，当下命人捉贺若弼下狱。
贺若弼坐牢之后，杨坚还是对他有旧情，当下去看望他，问他说：“我让高赹、杨素担任宰相，你总是扬言说他们俩个是酒囊饭袋，你这是什么意思？”
贺若弼傲然说：“高赹，是我的朋友；杨素，是我的舅子，我知道他们的为人，我也的确说过这样的话！”
他完全没有悔改，一条筋犟到底。
大臣们便启奏贺若弼怨恨大，按罪当死。
杨坚爱惜他的功劳，只是免官为庶民。
一年多后，杨坚又恢复他的爵位。
杨坚以为，贺若弼受了牢狱之灾后，应当会改，哪里知道，杨坚驾临仁寿宫，宴请王公大臣，下诏让贺若弼作五