然而，20世纪初期的动荡与军阀混战对江门市的经济造成了极大的破坏。随着各地军阀的不断反复混战，江门市的经济相继受到了波及。战乱之中，江门市作为通商口岸的地理优势愈加凸显，成为各方势力争夺的焦点。江门市的区划历史也因此变得扑朔迷离，陷入了多次提升和降级的轮回。
1951年，江门市重新获得了地级市的称号，成为广东省下辖的一个行政单元。然而，此后的几十年里，江门市的区划命运始终伴随着专区更名和管理调整。在1956年和1958年，江门市两度被降为县级市，分别划入佛山和高要专区管理。这一时期的调整，既反映了当时国家政治局势的动荡，也映照出江门市作为一个区划实体所面临的历史困境。
1966年，江门市再次被提升为地级市，这标志着其经济和行政地位的回升。然而，这一时期的江门市区划框架又受到专区更名的影响，1963年、1966年、1970年，江门市分别被划入佛山专区、高要专区和佛山地区管理。这一系列的调整，使得江门市的行政归属频繁变化，城市管理面临巨大挑战。
随着70年代末期中国经济腾飞，江门市再次面临着区划框架的调整。1983年，江门市第四次被提升为地级市，并在此后的几轮调整中形成了较为稳定的行政区划，包括9个区县。这一时期的调整，既受国家宏观经济政策的影响，也反映了江门市地理位置与经济发展的紧密关系。江门市在这一时期以其独特的区划框架，成为广东省内经济发展的亮点。
