为了平定南陈，完成南北统一大业，杨坚于开皇五年(585年)十月任杨素为信州总管，负责经略长江上游，并赐钱百万、锦千段、马二百匹。
开皇七年(587年)，杨素与尚书左仆射高颎、吴州总管贺若弼等人向杨坚进献平陈之策。随后，他便在永安(巴东郡，今重庆市奉节县东) 建造“五牙”、“黄龙”等高达百余尺的战船，为灭陈作积极的准备。
杨素效仿西晋初年平灭东吴的名将王濬，把大量造船废料倒入江中，顺流漂下，以威慑下游的陈军。
开皇八年(588年)十月，杨坚在寿春(今安徽寿县)设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，集水陆军五十一万八千人，自长江上游至下游分八路攻陈。
该年十二月上旬，杨素统领水军主力，出巴东郡，顺流东下，一路遇神*神、遇佛灭佛。
陈将戚欣率青龙战船百余艘遏守在狼尾滩(今湖北宜昌西北)，该处地势险峭，水流湍急，易守难攻。
众将均面露忧色，杨素却满不在乎，他认为：滩流迅激，正利于水师从上游向下游冲锋，而且，水上有敌，我军可以水陆并进，水陆两军彼此呼应，定能一击制敌。
战斗的结果，正如他所料：当他率黄龙战船沿江急驰，而另令大将军刘仁恩率甲骑自江陵(今属湖北)西进，一下子就击败了戚欣所部。
大军得胜，舟舻浩浩荡荡顺江东下，旌旗遮天，旌甲曜日。
杨素感觉到*的机会来了，他高高端坐在平乘大船之上，表情严肃，瞋目四顾。
陈国百姓站在岸边观望，睹之如神，纷纷赞叹说：“清河公即江神也。”
这之后，杨素分别在歧亭(今长江西陵峡口)和荆门之延洲(今湖北枝江附近长江中)两次大败陈南康内史吕忠肃。从而吓走了驻守江南岸安蜀城(今湖北宜都西北长江南岸)的陈信州刺史顾觉和屯守公安(今湖北公安西北)的陈荆州刺史陈慧纪；迫降陈湘州刺史、岳阳王陈叔慎，完全控制住了长江上游，为下游主力的渡江作战提供了有力的保障。
平灭南陈后，杨素因战功卓著被进爵越国公，邑三千户，真食长寿县千户。得赐物万段，粟万石，加以金宝，及得陈主妹及女妓十四人。
南陈虽平，南方的动乱仍是纷至沓来。
其中，婺州(治今浙江金华)人汪文进、越州(治今浙江绍兴)人高智慧及苏州人沈玄懀等在开皇十年(590年)十一月举兵反隋，自称天子，署置百官。蒋山(今南京钟山)人李忮、乐安人(今浙江仙居西)蔡道人、温州人沈孝彻、泉州(治今福州)人王国庆等，都自称大都督，攻州陷府，局面很乱。
平定这些乱局的人是杨素和史万岁。
两人分头平乱，仗打得很若：杨素与敌打了一百多仗；史万岁则打了七百多仗。
在平乱结束后，杨坚本想好好加封杨素，但杨素的官位已经很高了，实在不好再封，于是转封杨素的儿子，封其长子杨玄感为上开府，赐彩物三千段；封其次子杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。
开皇十二年(592年)十二月，尚书右仆射苏威因结私营党被免除了官爵，他的尚书右仆射的位子空缺。杨坚赶紧让杨素顶上，让他与尚书左仆射高颎同掌朝政。
至此，杨素可谓出将入相、位极人臣。
但杨素也并不闲着。
开皇十九年(599年)二月，突厥都兰可汗磨刀霍霍，准备攻击大同城(在今内蒙乌拉特前旗东北)。杨素和尚书左仆射高颎、上柱国燕荣，分别从灵州(治回乐，今宁夏灵武西南)、朔州(治善阳，今山西朔县)、幽州(治蓟县，今北京城西南)出兵，三路进击突厥。
都兰可汗震骇之下，与达头可汗与结盟拒战。
达头可汗其实帮不了都兰可汗什么忙，他在该年四月与杨素军在灵州以北地区遭遇，一番激战过后，留下了千万计尸体，号哭而去。
都兰可汗则被高颎部击败，都兰可汗本人在溃逃过程中部下所*。
隋军大获全胜。
杨坚开心得哈哈哈哈地笑出了声，下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。
杨素打仗这么牛，除了他通晓兵法、熟知阵法变化之外，主要是有随机应变的谋略，善于捕捉战机。
另外，他对军队的要求极其严酷——谁若违犯了军令，立斩不赦，绝不姑息。
