当时，衡阳专区下辖了8个县，分别是：衡阳县、常宁县、衡山县、耒阳县、攸县、茶陵县、安仁县、酃县。1952年，在几个县部分乡镇的基础上，衡阳专区组建了衡南县，区划框架调整为9个县。几个月以后，湖南省组建了湘南行署区，衡阳专区被撤销，原本下辖的9个县，全部划入了湘南行署区管理。
不过，这样的区划格局非常短暂，因为存在各方面的问题。1954年，湘南行署区被撤销，湖南省重新组建了衡阳专区。管理区划调整为12个县，分别是：衡阳县、衡南县、衡山县、江华县、永明县、道县、宁远县、常宁县、祁东县、祁阳县、零陵县、东安县。
50年代末期，在湖南省新一轮的区划调整中，1959年，衡阳地级市被降级为县级市，划入了衡阳专区管理。1961年，衡阳专区在部分乡镇的基础上，组建了冷水滩县级市。60年代初期，衡阳专区合计下辖了2个县级市、12个县。在五六十年代，我国的交通、通讯水平有限，下辖的区县太多，进一步增加了管理难度，而且不利于建设。
1962年，冷水滩县级市被撤销。同一年，湖南省组建了零陵专区，衡阳专区下辖的零陵县、江永县、道县、宁远县、东安县、江华县等6个县，划入了零陵专区管理。这一阶段，衡阳专区的区划框架调整为1个县级市、6个县，1963年，衡阳专区在衡山县部分乡镇的基础上，组建了南岳县，区划框架调整为1个县级市、7个县。不过，到了1966年，南岳县被撤销，组建了衡东县。
60年代末期，全国所有的专区更名为地区，衡阳专区更名为衡阳地区。70年代末期，我国经济进入了高速发展阶段。为了适应经济发展的需要，各省的各个地区都进行了各方面的区划变迁。1980年，衡阳县级市被第二次提升为地级市，与衡阳地区并立出现。1983年7月，衡阳地区被撤销，原本下辖的7个县，全部划入了衡阳地级市管理。
衡阳地级市的主城区，划分为4个区，分别是：江东区、城南区、城北区、郊区。再加上7个县，合计11个区县。1984年，衡阳市组建了南岳区，区划调整为12个区县。随着衡阳市各地的持续发展，耒阳县、常宁县等2个县被陆续撤销，组建了耒阳县级市、常宁县级市。
进入21世纪以后，衡阳市主城区进一步扩大，城市人口进一步增加。2001年，衡阳市的江东区、城南区、城北区、郊区被撤销，组建了珠晖区、雁峰区、石鼓区、蒸湘区。截止2001年，衡阳市5个区、5个县、2个县级市的区划框架，彻底形成。
