隋朝建立后，杨坚励精图治力图统一全国。最开始就是拿原来从北州继承下来的保护国后梁下手，隋朝初期继承了北周对后梁的管辖，仍在后梁置江陵总管以监之。
隋文帝杨坚
后梁是南北朝时期萧氏建立的小朝廷，都江陵(今湖北江陵)，据有江陵附近数县，为西魏、北周附庸。虽然国虽弱小但控长江中游的一些郡县，战略位置十分重要。开皇二年(公元582年)，后梁明帝萧岿(kui)之女做了隋晋王杨广的王妃，杨坚取消了江陵总管，让萧岿亲自处理后梁国政。开皇五年(公元585年)，萧岿卒太子萧家立，南复置江陵总管。
后梁位置
开皇七年(公元587年)八月，隋文帝征梁帝萧琮入朝，并留而不遣，以其主在外为由，同时命大将派武乡公崔弘度率兵进驻江陵镇守。九月萧琮叔父、安平王萧岩驱梁国文武百官及百姓十万余人南下归降南陈朝廷。
开皇九年(公元587年)隋文帝遂下诏废掉后梁国，以萧琮为上柱国、售国公，后梁历三帝存33年，公元587年亡。后隋文帝杨坚另派宰相高颎至江陵安集遗民。此时隋灭后梁扫清了南下进军南陈朝廷，一统江南的障碍。
隋文帝灭掉长江边的缓冲国后梁小朝廷后，就着手准备灭陈，委派韩擒虎为庐州总管，贺若强为吴州总管，做统一江南的准备。又命杨素督造战船，修成五牙大楼船、黄龙战船、大量平乘、舴等轻便小船，以备渡江。
当时的形势
其战争准备从公元587年就开始进行了，随文帝又采纳高颖之策，在江南收获之际，派兵*扰，废弃农时，并派人焚毁陈人的粮仓，令南陈朝廷的粮食大量减产。在公元588年在巩固了内部、解决了缓冲国后梁，又缓和了与突厥的矛盾后，杨坚命杨广出六合、杨俊出襄阳、杨素出永安、刘仁恩出江陵、王世积出蕲春、韩擒虎出庐江、贺若弼出广陵、燕荣出东海，兵分八路，计有52万人，在东临沧海，西接巴蜀的长江沿线，向陈发动了全面的进攻。
而此时的陈后主陈叔宝却沉溺酒色之中，对北面虎视眈眈的隋朝廷不加防备。韩擒虎率500精兵夜渡长江，克姑熟扼长江上游咽喉。贺若弼横渡天堑克京口，掌握长江下游门户，在两路夹击之下，陈兵首尾不能顾，望风溃败。贺若弼、韩擒虎趁势分别攻入建康，陈后主及文武百官全都做了俘虏。晋王杨广进入建康后，命陈后主诏上游诸位陈将投降，陈水军都督周罗高等全部投降。
陈后主陈叔宝
开皇九年公元589年，南军攻陷陈都灭陈一统全国。到此为止起始于东晋八王之乱后200多年的南北分裂局面，到此结束。
在统一南北后，隋文帝杨坚终于完成了如前任秦始皇和刘邦一样的伟业，为了掌管这么大的国土，隋文帝杨坚决定必须对军事力量进行改革，所以在开皇十年(公元590年)下诏改革府兵制。
隋朝初年，仍沿用北周的府兵制，虽有兵农合一的趋势，但军人仍另立军籍自成系统，不受地方州县管辖。在公元589年在灭陈之后，为了国家的恢复与发展，还要减除多余的兵力对于朝廷财政的压力，隋文帝下诏将军人划入当地州县，与农民一样分配土地，府兵从而具有了军籍与民籍的双重身份。军人及其家属，平时耕作，战时出征免租调役，同时每年轮番上京成卫。府兵在统领上仍由江卫分领，但江卫现在只负责督领宿卫京师的府兵，江卫各置大将军，总隶于皇帝。
府兵制改革后，国家兵源得到保证，减轻了朝廷对军队的财政负担，加强了政府对军人的控制。这一制度到唐代仍沿袭使用。
