建国初期，出于管理苏北各地的需要，苏北的7个县、县级市，曾经临时划入了山东省代管。其中，部分县划入了滕县专区管理。因此，在滕县专区的管理范围中，出现了沛县、丰县等几个县。1953年，随着区划的变迁，几个县重新划入了江苏省管理。
1953年，山东省的滕县专区被撤销，与湖西专区合并共同组建了济宁专区。济宁专区组建以后，下辖了1个县级市、13个县，分别是：济宁县级市、济宁县、滋阳县、曲阜县、邹县、凫山县、滕县、峄县、薛城县、微山县、鱼台县、金乡县、嘉祥县、汶上县。1956年，泰安专区的泗水县，划入了济宁专区管理。
同一年，济宁专区的鱼台县、凫山县被撤销，各个乡镇并入了周边各个县。历经这一轮区划调整以后，济宁专区的区划为1个县级市、12个县。1958年，在山东省新一轮的区划变迁中，菏泽专区被撤销，下辖的10多个县，全部划入了济宁专区管理。济宁专区合计下辖了20多个县，管辖范围非常大。
在五六十年代，我国的交通、通讯水平有限，下辖的区县太多，并不利于经济发展和管理。济宁专区管理20多个县，难度太大。1959年，山东省重新组建了菏泽专区。同时，鉴于枣庄地区的煤炭资源，为了开采枣庄地区的煤炭资源，1960年，山东省组建了枣庄地级市。济宁专区的峄县，划入了枣庄地级市管理。截至60年代前期，济宁专区下辖了1个县级市、11个县。
60年代末期，全国所有的专区更名为地区以后，济宁专区更名为济宁地区。70年代末期，我国经济进入了持续高速发展时期，为了适应经济发展的需要，山东省下辖的各个地区，陆续进行了区划调整。枣庄市的管理范围有限，很多工厂和企业的进一步扩大，都面临了空间限制。为了扩大枣庄市的管辖范围，增强枣庄市的综合实力，1979年，济宁地区的滕县，划入了枣庄地级市管理。
80年代初期，济宁地区的区划框架，调整为1个县级市、10个县。1983年，济宁地区被撤销，组建了济宁地级市。济宁县级市、济宁县被撤销，组建了市中区、市郊区。再加上原本下辖的9个县，合计11个区县，分别是：市中区、市郊区、兖州县、曲阜县、邹县、嘉祥县、金乡县、鱼台县、微山县、汶上县、泗水县，1989年，菏泽地区的梁山县，划入了济宁市管理，济宁市的区划调整为12个区县，截至这个时候，济宁市的基本盘已经固定下来。
八九十年代，济宁市的发展非常迅速，曲阜县、兖州县、邹县被陆续撤销，组建了县级市。90年代中期，济宁市的郊区更名为任城区。进入21世纪以后，济宁市的城市面积越来越大，城市人口越来越多。2013年，济宁市的市中区被撤销，并入了任城区。同一年，兖州县级市被撤销，组建了兖州区。
