在清朝统治的前期，这一问题还并不明显。进入清朝统治的后期，西方列强对清朝发动了一系列的战争，清朝一败再败。东北地区资源丰富，战略地位非常重要，西方列强纷纷染指东北地区。尤其是沙俄和日本，为了控制东北地区，1904年，爆发了日俄战争。对此，清朝没有任何办法。为了加强对东北地区的管理，1908年，清朝陆续组建了奉天省、吉林省和黑龙江省。
1912年，已经统治了200多年的清朝灭亡，我国进入了军阀混战的阶段。当时，东北地区在奉系军阀的控制之下。1931年9月，日本军队发动了九一八事变。在半年多时间内，日本军队逐步占领了东北全境，并且扶持了伪政权。为了加强对东北地区的控制，日本军队拆分了东北地区原有的三省区划，先后设立了东北14省、东北19省的格局。
945年，日本战败投降以后，当时的政权重新调整了东北地区的区划，把东北19个省合并压缩为东北9省。1949年，我国调整了东北地区的区划，东北地区形成了6个省的区划。分别是：松江省、黑龙江省、吉林省、辽东省、辽西省、热河省。1954年，黑龙江省与松江省合并，黑龙江省的省会从齐齐哈尔市，迁往了哈尔滨市。
随后，黑龙江省陆续组建了一系列的专区和地级市，例如哈尔滨市、鸡西市、伊春市、合江专区、嫩江专区、绥化专区、牡丹江专区、松花江专区等等。也许大家注意到了，黑龙江省境内河流众多，很多专区基本上都是以河流命名的。50年代后期，绥化专区被撤销。随后，黑龙江省组建了松花江专区。
鉴于开采煤炭、石油和铁矿的需要，1961年，黑龙江省陆续组建了安达地级市、鹤岗地级市。同一年，嫩江专区被撤销，下辖的各个县，划入了齐齐哈尔地级市管理。不过，1962年，嫩江专区重新建立。黑龙江省面积辽阔，在五六十年代，我国的交通、通讯水平还非常有限。管理的区县太多，不利于管理。
1965年，黑龙江省形成了7个地级市、5个专区的区划格局，分别是：哈尔滨市、齐齐哈尔市、鹤岗市、牡丹江市、伊春市、鸡西市、安达市、牡丹江专区、松花江专区、合江专区、嫩江专区、黑河专区。出于管理大兴安岭的需要，黑龙江省组建了大兴安岭特区，相当于专区和地级市。伊春市被撤销，组建了伊春特区。1965年，在松花江专区部分县的基础上，再次组建了绥化专区。
1966年，为了开采双鸭山等地的煤炭资源，黑龙江省组建了双鸭山地级市。1967年，伊春特区被撤销，再次组建了伊春地级市。60年代末期，全国所有的专区更名为地区以后，黑龙江省下辖的各个专区陆续更名。1970年，大兴安岭特区更名为大兴安岭地区。同一年，黑龙江省在伊春市下辖部分县的基础上，组建了伊春地区。
70年代末期，我国经济进入了持续高速发展阶段。为了适应经济发展的需要，我国各省的区划都开始了进一步的调整。1979年，安达市更名为大庆市。同一年，伊春地区被撤销，下辖的各个县，重新划入伊春地级市管理。1983年，牡丹江地区被撤销，原本下辖的各个县，划入了牡丹江市、鸡西市管理。
