对于元朝来说，并不合适。最后，元朝借鉴了金国行尚书台制度，进一步推出了行省制度。元朝把全国划分为10个行省，例如辽阳行省、四川行省、湖广行省等等。鉴于河北各地的重要性，河北被划入了中书行省直接管理。元朝的行省制度存在各方面的问题，但奠定了行省区划的基础。1368年，明朝建立以后。进一步沿用了元朝的行省制度，并且完善和改良。
由于明朝设立了南北两个都城，因此，出现了南北直隶与13个省的区划格局。南直隶包括了江苏、安徽等地，北直隶则包括了北京市、天津市、河北省等地。17世纪中期，清朝逐步消灭了各地农民起义军、南明势力，确立了对全国的统治。清朝在明朝行省的基础上，继续完善和调整。清朝定都北京，北直隶更名为直隶省。清朝设立了直隶总督，管理直隶各方面的事务。
在清朝统治时期，直隶省下辖了12个府、6个直隶州，分别是：顺天府、保定府、天津府、正定府、大名府、顺德府、广平府、河间府、承德府、朝阳府、宣化府、永平府、遵化州、易州、冀州、赵州、深州、定州。当时，衡水市下辖的各个县，分别隶属于冀州、深州等地管理，并没有出现单独的区划。
1912年，清朝灭亡以后，我国进入了军阀混战的复杂阶段。由于战争的严重破坏，对河北各地造成了很大的影响。1928年，直隶省更名为河北省。一转眼到了建国初期，随着战争基本结束，我国进入了战后重建、休养生息的阶段。当时，河北省各地设立了一系列的专区，例如邢台专区、保定专区、衡水专区等等。1949年，衡水专区组建之初，下辖了13个县，分别是：衡水县、冀县、枣强县、武邑县、深县、武强县、清河县、恩县、夏津县、武城县、故城县、景县、阜城县等等。
不过，衡水专区存在的时间并不长。1952年，在河北省的区划变迁中，衡水专区被撤销。其中的3个县，划入了河北省管理。其余的各个县，划入了石家庄专区、邢台专区、沧县专区管理。各个专区下辖的区县太多，反而不利于管理。因为在五六十年代，当时的科技通讯、交通水平有限，管理的范围太大，存在各方面的难度。
1962年6月，衡水专区重新组建，下辖了衡水县、冀县、枣强县、武邑县、深县、武强县、饶阳县、安平县、故城县、景县、阜城县等11个县。60年代末期，全国所有的专区更名为地区以后，衡水专区更名为衡水地区，管辖范围不变。70年代末期，我国经济进入了快速发展阶段，为了适应经济发展的大好前景。我国各省下辖的各个地区，陆续开始了区划调整。
1982年，衡水地区下辖的衡水县，升级为衡水县级市。进入90年代以后，冀县更名为冀州县级市，深县更名为深州县级市。1996年，衡水地区被撤销，组建了衡水地级市。原来的衡水县级市也被撤销，更名为桃城区。衡水市下辖了1个区、2个县级市、8个县，分别是：桃城区、冀州市、深州市、枣强县、武邑县、武强县、饶阳县、安平县、故城县、景县、阜城县。
进入21世纪以后，随着衡水市的持续发展，衡水市的城区人口进一步增加，城区面积进一步扩大。2016年，冀州市被撤销，组建了冀州区。截止这个时候，衡水市2个区、1个县级市、8个县的区划格局，彻底形成，分别是：桃城区、冀州区、深州市、枣强县、武邑县、武强县、饶阳县、安平县、故城县、景县、阜城县。
