杨坚一直准备着灭亡陈朝，统一中国，而杨素又曾数次献伐陈之策，所以，这次被免官后，杨坚允许杨素上伐陈之策。
杨素为了救自己，再没计策，挖空心思，也要想出计策！
他苦搜枯肠，终于想出计策，再次上书皇帝！
杨坚看了之后，很是赞赏，便把杨素放了出来了。
公元585年十月，杨素再次时来运转，便任命为信州总管，经略长江上游，朝廷赐钱百万、锦千段、马二百匹。
两年后，杨素与尚书左仆射高颎、吴州总管贺若弼、光州刺史高劢、虢州刺史崔仲方等人献平陈之策。
杨素在永安建造“五牙”（上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人）、“黄龙”等战船，加强水师，作灭陈准备，并故意在江中漂下造船废料，以威慑擅长水战的陈-军。
公元588年三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶二十条，并将诏书在江南散发三十万份，以争取人心。十月，杨坚在寿春设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军五十一万八千人，