随着疆域面积的扩大，唐宋时期的州县两级区划，对于元朝来说并不合适。元朝为了加强对各地的管理，在金国行尚书台制度的基础上，推出了著名的行省区划。元朝把全国划分为10个行省，例如江浙行省、河南江北行省、辽阳行省等等。元朝划分各个行省的时候，基本上按照河流、湖泊、山地进行划分。当时，河南江北行省的省会在开封府，也就是北宋旧都。
元朝虽然建立了行省区划，但各省的区划轮廓，并没有稳定下来。1368年，朱元璋建立了明朝。明朝在元朝行省的基础上，进一步完善而来。明朝拥有南北两个都城，再加上情况特殊的中都凤阳。出现了北直隶、南直隶和13个省，北直隶包括了北京市、天津市、河北省等地，南直隶则包括了安徽省、江苏省等大片地区。
在明朝统治时期，设立了湖广省、河南省、山东省、陕西省等各个省份。其中，北直隶最南部的大名府，如同一把锥子，插在了河南省、山东省之间，三个区域都是治理黄河的责任。在明朝统治时期，北直隶的大名府，下辖了10个县和散州，分别是：开州、大名县、元城县、南乐县、清丰县、东明县、长垣县、内黄县、滑县、魏县、浚县。
也许大家发现了，这其中的大部分县，现在都隶属于河南省。17世纪中期，清朝消灭了各地农民起义军和南明势力，逐步确立了自己的统治。清朝定都北京，南直隶的地位下降，更名为江南省。后来，拆分为江苏省、安徽省。至于北直隶，则更名为直隶省。在清朝统治的前期，并没有改变直隶省的区划格局，基本上沿用了明朝的区划轮廓。
在清朝雍正皇帝在位时期，为了解决摊丁入亩、火耗归公等一系列政策，雍正皇帝任命三大心腹之一的田文镜，担任了河南巡抚。在这一阶段，田文镜发现了一个问题。河南省各地的漕粮，基本上是卫河运往京城。从河南省北部的卫辉府出发，需要从直隶大名府滑、浚、内黄三县经过。但是，这一段河段年久失修、河堤急需修理，而且各地的官卡设立也不一样。
由于这3个县隶属于大名府，而大名府隶属于直隶省。田文镜屡受刺激，最终，施展了自己的*手锏，那就是“上奏。”雍正三年（1725年），田文镜上奏：“臣仰肯皇上俯念漕粮攸关，将浚、滑、内黄三县改归彰德、卫辉二府，就近分隶管辖，庶事统一，彼此不致掣肘……。”
对于田文镜这位心腹宠臣，雍正皇帝十分呵护。随后，雍正皇帝随即批准了田文镜的要求。按照清朝历史文献记载：“雍正三年，从豫抚田文镜之请，改拨三县属于河南，内黄改隶彰德，滑、浚改隶卫辉。我朝厘定旧制，由直隶大名改属河南彰德，审形势之宜，得臂指之使，称尽善矣。”当时，内黄县划入了河南省彰德府管理，滑县和浚县，划入了河南省卫辉府管理。
这是河北、河南之间，第一次区划变迁。在清朝统治的后期，黄河屡屡发生决口和大规模改道。尤其是清朝咸丰皇帝在位时期，黄河大规模改道，波及了山东、安徽、河南等地，涉及了2000多万群众。此时的清朝，面对各方面的内忧外患，已经焦头烂额，根本没有精力治理黄河。1912年，清朝灭亡以后，我国进入了军阀混战的复杂阶段。
