来逼臣，臣却无心谋取富贵！”
公元575年七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，武帝应允，并赐他一条竹鞭，说：“我正要驱使天下，所以把这件东西赐给你。”
杨素跟随齐王宇文宪在河阴和齐军交战，因战功被封为清河县子，食邑五百户。同年授司城大夫。
第二年十月，杨素再次随宇文宪攻北齐，克晋州。宇文宪屯兵栖原，北齐后主高纬率诸军自晋阳向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。
杨素与骁将十余人却尽力苦战，宇文宪方得以解围。
此后，杨素更是屡立战功。
北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户。
大象二年，公元580年五月十一日，北周宣帝宇文赟病死。
周静帝宇文衍年幼，左丞相杨坚专政。
杨素知杨坚甚得众心，且有称帝之意，当下主动投到杨坚门下，与杨坚深自结纳。
杨坚也知杨素之才，对他也非常器重。不久，便以杨素为汴州刺史。
不久，尉迟迥等举兵反杨坚，杨素被拜为大将军，领河内兵攻打宇文胄，并