“天下合久必分，分久必合”。古代中国在经历了三国、两 晋、南北朝的200多年战乱和分治后，建立一个统一的国家 成为历史发展的潮流。581年，杨坚夺取北周政权，建立起隋王朝。之后，以席卷之势扫平南朝陈王朝，重新统一了中国。
零陵郡从此又进入统一的中国社会，并于隋开皇九年（589） 更名永州，零陵、永州也由此成为一地二名。
隋文帝杨坚夺取北周政权后，对地方行政区域的设置进行了调整。按照“存要去闲，并小为 大”的原则，将原来实行的州、郡、县三级改为州、县二级， 后又改为郡、县二级，从而加强了中央政权对地方的直接统 治。在这样的背景下，零陵郡这一沿袭了700年之久的行政区域名称也代之以州。
因零陵郡西南有“永山永水”，开皇九年（589），隋文帝将原零陵郡改置为永州总管府。永州之名， 始称于世，并一直沿用至今。这也是永州这一地名首次成为州郡级行政区域名称。
永州总管府的首府设在零陵县（原泉陵县改，今永州芝山区）。同时，原零陵郡所辖各县也“并小为大”，并且多数县启用新县名。原泉陵、永昌、祁阳、应阳 4县合并，改称零陵县，县治设原泉陵县。废原零陵、洮阳、 观阳3县，置湘源县，县治在今广西全州西。
这样，零陵县这 个行政区域名称，第一次成为现在意义上的零陵，即今永州市境内的县名，也使在今广西境内使用了811年之久的零陵这一地名，最终在今广西境内消失。
此外，废原永阳郡及营 浦、谢沐2县，置永阳县，县治在今道县北；
并营道、泠道、 舂陵3县为营道县，县治在今宁远东城下胡家村；
冯乘县也 由原临贺郡改属永州总管府。
至此，永州总管府共辖零陵、湘 源、永阳、营道、冯乘5县，这也是今江永、江华一带首次 进入今永州版图。调整后的永州总管府，其辖地面积同今永州市大体相当。
隋大业三年（607），永州总管府复称零陵郡， 其辖地不变。
