武帝朝的五贵、选曹七贵、六贵都没少过他。
不得不说这老家伙还是非常有本事的，这是一个相当有才干的宰相。可惜的是，这老家伙的毛病更多，比如说贪财，比如说喜欢阿谀奉承，比如说喜欢朋党，比如说喜欢党同伐异，尤其是党同伐异，是他五起五落的根本原因，可他安分不了多久又玩上了。据说他还以贾诩为榜样，自我标榜深诣自保之道，他忠诚的永远是自己的利益，你让彻底收服于他，是相当困难之事。
宇文化及发动江都之乱后，任命苏威为光禄大夫、开府仪同三司。到宇文化及失败后，苏威顺势归附李密。不久李密在和王世充交战中大败一场，苏威又跑到东都当起了王世充的太师，接着又和云定兴把王世充卖给了李世民，可他跑得慢，或是不想跟李世民走，所以一直留在洛阳。
苏威认为自己是大隋老臣，所经过之地，都是被迫无奈的随机而处，希望获得大隋收容豁免。
念及此人对大隋有大功，又是一个离死不远的八十多岁老人，杨侗也没有为难于他，赏赐了些钱，让他回家养老，可这老家伙是一个不甘无权的官迷，以老臣为名得寸进尺，多次上书说要为国尽忠。
此人才能是有的，可用他，杨侗当然不愿意了。