先后，消灭了西夏国、大金国、大理国、吐蕃、南宋等一系列政权。进而，建立了一个疆域十分辽阔的庞大王朝。不过，随着疆域版图的迅速扩大，元朝缺乏地方管理经验的特点，非常明显。面对全国密密麻麻的几百个州府，几千个县，元朝非常头疼。面对各地错综复杂的人口数据、耕地土质、农作物产量情况，元朝有点懵。
最后，元朝在宋朝23路的经验基础上，结合金国行尚书台的计算框架，进一步调整以后，推出了著名的行省制度。元朝把全国划分为10个行省，例如辽阳行省、河南江北行省、江浙行省等等。每个省下辖了各个路，每个路下辖了各个州府，每个州府下辖各个县，相当于设立了4级区划。当时，黑龙江等地，隶属于辽阳行省管理。
元朝虽然设立了行省制度，奠定了行省的框架，但各方面的问题非常多。首先，各省的区划不合理，地方管理难度大。第二，各地机构的结构粗犷，效率非常低。到了元朝统治末期，行省区划已经基本崩溃。随后，1368年，朱元璋建立明朝，在元朝行省的基础上，根据明朝的实际需要，进一步调整了各地区划。撤销了路一级的区划，形成了省、州府、县三级区划。
这一区划模式非常经典，先后沿用了几百年。在明朝第三位皇帝朱棣在位时期，随着明朝的迁都，进一步形成了南北直隶与13个省。我国很多省份的大体区划，都是在明朝统治时期确立的，例如河南省、福建省、浙江省等等。至于东北地区，由于各方面的原因，明朝并没有设立省份，而是仅仅设立了辽东镇和奴儿干都司等机构，对各地的控制力很有限。
17世纪中期，清朝确立了自己的统治以后，进一步调整了各省的区划。最后，形成了大清内陆18个省的区划。在东北地区，由于清朝禁止中原群众进入，造成了东北地区人口非常少。截至清朝嘉庆皇帝时期，整个东北的人口，也没有超过100万人。清朝在东北地区并没有设立行省，而是设立了盛京将军、吉林将军和黑龙江将军，依靠这些镇守将军，清朝对这些地区的实际控制力非常有限。
其中，黑龙江将军府，就设立在齐齐哈尔。在清朝统治的前期，依靠雄厚的国力支撑，这些问题并不明显。但到了清朝统治的末期，西方列强对清朝发动了一系列的战争，例如鸦片战争、甲午战争等等，开始逐步染指清朝的东北地区。为了巩固东北地区，清朝在20世纪之初，在东北陆续设立了黑龙江省、吉林省和奉天省。
与此同时，著名的“闯关东”开始了。大量的人口进入东北地区，东北地区的人口总数迅速增加。黑龙江省设立以后，齐齐哈尔成为了黑龙江省的省会。当然，此时的哈尔滨正在迅速崛起。1912年，清朝灭亡以后，我国进入了军阀混战的阶段。
在三四十年代，东北地区先后历经了东北四省、东北14省、东北19省、东北9省、东北6省等几个阶段。1949年，东北地区分为了6个省，分别是：黑龙江省、吉林省、松江省、辽东省、辽西省和热河省。当时，齐齐哈尔仍然是黑龙江省的省会。至于哈尔滨，则是松江省的省会。一转眼到了建国初期，随着局势的稳定，我国进入了经济发展、战后重建、恢复生产的阶段。
