依靠唐宋时期的州县两级区划，肯定不够用。唐朝15道和宋朝23路，各有问题和缺陷，，也不合适。最后，元朝在宋朝23路的基础上，结合了金国行尚书台的经验，最终推出了行省制度。元朝把全国划分为10个行省，例如湖广行省、河南江北行省、江西行省等等。每个省下辖各个路，每个路下辖各个州府，每个州府下辖各个县，相当于4级区划的模式。
河南各地隶属于河南江北行省管理，省会设立在开封府。元朝虽然设立了行省制度，奠定了行省制度的框架，但各方面并不完善。第一，各省的划分不合理，造成管理难度很大。第二，每个地方的机构十分简单，而且相互重叠。到了元朝统治的末期，已经出现了各方面的问题。1368年，朱元璋建立明朝以后，在元朝行省的基础上，进一步调整了各地的区划。
永乐皇帝朱棣迁都以后，明朝形成了南北直隶与13个省的区划。我国很多省份的区划，都是在明朝统治时期确立的，例如河南省、山西省、山东省等等。在河南省内，设立了各个府和直隶州，例如开封府、河南府、南阳府、许州、汝州、陕州等等。当时，三门峡被称为陕州，属于直隶省。从陕州这个地名，大家可以联想陕西省的由来。
17世纪中期，清朝逐步确立了自己的统治，根据清朝的实际情况，在明朝行省的基础上，进一步调整区划。最终，在康熙皇帝时期，形成了内陆18个省的区划。在河南省内，区划调整的规模非常小。1912年，清朝灭亡以后，我国进入了军阀混战的局面。河南省属于各路军阀反复争夺的地区，各方面遭到了严重的破坏，各地群众急需进行休养生息。
一转眼到了建国初期，我国进入了战后重建、恢复生产、经济建设的阶段，一系列重要项目在河南开工建设。在河南省内，设立了一系列的专区，例如郑州专区、洛阳专区、陕州专区、淮阳专区等等。当时，陕州专区下辖了灵宝县、卢氏县、栾川县、洛宁县、渑池县、陕县等地，管辖范围并不算小。
1952年，陕州专区被撤销，下辖的各个县，划入了洛阳专区管理。鉴于三门峡在煤炭、黄金矿石、铝矿石等方面的优势，1957年，设立了三门峡地级市。不过，1958年，被降级为县级市。到了1959年，再次提升为地级市。三门峡市的管辖区并不算大，仅仅管理了市区和矿区，此外，还有陕县。
60年代末期，全国所有的专区被更名为地区以后，洛阳专区更名为洛阳地区。进入80年代初期，随着我国经济持续高速发展，为了适应发展的需要，我国各个省份下辖的地区，开始调整为地级市。1983年开始，郑州市、开封市、安阳市等地级市陆续设立。1983年，洛阳地区的孟津县、新安县、偃师县，划入了洛阳市管理。随后，洛阳地区与洛阳市并立存在。
1986年，洛阳地区被撤销，栾川县、洛宁县、宜阳县、嵩县等6个县，划入洛阳市管理。渑池县、灵宝县、卢氏县等4个县，划入三门峡市管理。随着三门峡市的持续高速发展，1993年，灵宝县被撤销，设立了灵宝县级市。不得不说，灵宝肉夹馍非常有名。此外，赫赫有名的函谷关就在灵宝市。2016年，陕县被撤销，设立了陕州区。
