起初，山东地区隶属于中书行省直接管理。鉴于山东的重要性，出于战略防御的需要，1357年，元朝设立了山东行省。在这一阶段，红巾军已经在江淮各地全面发展，山东的重要性进一步提高。1368年，明朝建立以后，继承了元朝的行省制度，进行了完善和调整。由于明朝拥有南北两个都城，逐步形成了南北直隶和13个省的区划格局。
我国很多省份的大体框架，就是在明朝统治时期形成的，例如河南省、山东省、河北省等等。17世纪中期，清朝消灭了各地的农民起义军势力、南明各个政权，逐步确立了对全国的统治。根据自己的需要，调整了各省的区划，形成了18个省的区划格局。在明朝原有的行省基础上，清朝进行了修改和完善，划分了18个省，出现了汉地18省的说法。
在清朝统治时期，北方各省基本上维持了明朝时期的区划格局。在清朝统治的后期，北方各地的一系列河流都需要治理。尤其是黄河，出现了泛滥、决口和改道的问题。1912年，已经统治了200多年的清朝灭亡以后，我国进入了军阀混战的阶段。在此期间，军阀们忙于相互进攻，根本没有精力治理各地的河流湖泊。在抗战期间，黄河被人为炸开，形成了大片的黄泛区。
一转眼到了建国之初，随着大规模战争的结束，我国进入了战后重建、恢复生产、发展建设的阶段。为了全面治理黄河，1949年，我国专门组建了平原省。平原省由河南省的黄河以北地区、山东省的西北部、河北省南部5个县，共同组成。划分为6个专区，省会设立在新乡市。1952年，随着治理黄河的工作基本完成，平原省的存在价值逐步降低。
同一年，平原省被撤销。河北省划入平原省的清丰县、南乐县、长垣县、濮阳县、东明县等5个县，没有还给河北省，而是跟随所在的专区，划入了河南省管理。为了补偿河北省的损失，河南省把自己北部的涉县、临漳县、武安县，划入了河北省管理。至此，河南省与河北省之间的省界，基本上稳定下来。不过，河南省与山东省的区划，仍然在逐步调整中。
1963年8月，金堤河流域的河水暴涨，淹没了山东省寿张县、范县的大片农田，积水最深处达到了2米左右。治理金堤河已经刻不容缓，但牵扯到了河南、山东两个省。河道隶属于两个省管理，在人力物力的调配上，很难做到统一调配。为了解决金堤河泛滥的问题，山东省开始重新修建堤坝。1964年2月，河南省、山东省之间的“换地”开始了。
1964年，山东省的寿张县被撤销。寿张县在金堤河以南的几个乡镇，划入了范县管理。寿张县在金堤河以北的几个乡镇，划入了莘县管理。与此同时，范县在金堤河以北的几个乡镇，也划入了莘县管理。寿张县、范县在金堤河以南的各个乡镇，组成了新的范县。接下来，河南省的东明县，划入了山东省管理。为了弥补河南省的损失，山东省把新组建的范县，划入了河南省管理。
范县历经了这一轮重新划分以后，管辖范围变得非常狭长，几乎是“一字长蛇阵。”范县的县城在金堤河以北，成为了河南省的飞地。此外，县城周围的金村、张扶村，隶属于范县管理。至于外围的樱桃园乡，则隶属于山东省莘县管理。因此，在河南省、山东省的交界地区，出现了“奇怪奇怪真奇怪，县城设在省界外。山东省有个河南县（范县），河南县有个山东乡（樱桃园乡），山东乡有个河南村（金村），河南村住着个山东人”的说法。
