在历史上，长江、黄河孕育了农耕文明，而黑龙江则孕育了游牧文明。黑龙江流域的大兴安岭是中国东胡系游牧民族的发源地，鲜卑、契丹、室韦、蒙古都是从这里走出去，从而征服蒙古高原、亚欧大陆的。蒙古高原上著名的温度尔汗位于黑龙江上游，这里就是成吉思汗的出生地。黑龙江的流域的中下游地区又孕育了肃慎、靺鞨、扶余、女真等民族，曾经建立了扶余、高句丽、渤海、金国、后金（清）等著名的政权和王朝。
黑龙江在古代名为“黑水”，蒙古语称呼为“喀拉穆伦”，满语称呼为“萨哈连乌拉”，这里的“喀拉”“萨哈连”是黑色的意思，而“穆伦”“乌拉”是河流的意思。鄂温克族称呼为“阿玛勒”，是现在俄语“阿穆尔河”称呼的来源。“黑龙江”一词最早出现于《辽史》，当时的人们还错误地认为松花江是黑龙江的正源。
早在西周时期，黑龙江流域的民族就和中原建立了联系。当时，东北的肃慎向周武王“进贡”了“楛矢石砮”，于是周人就说“肃慎、燕、亳，吾北土也。”此后历代都将肃慎进贡弓箭等视为臣服的标志，实际上，当时的肃慎只是和中原进行贸易。
到唐朝时期，中原和黑龙江流域的联系加强了，先后在此册封了渤海、室韦、黑水等都督府，获得了名义上的隶属关系。而渤海大规模学习中原文化，发展成为了“海东盛国”，这是汉文化第一次大规模传入到黑龙江流域。
此后，东北的契丹、金国相继崛起，将整个黑龙江疆域纳入到了版图之内。建立金国的完颜部就崛起于松花江下游一带，其最早的首都就是今天黑龙江省的会宁。金国灭亡之后，蒙古和元朝继承了对东北的统治，蒙古在此设置了征东元帅府，其驻地就在黑龙江入海口不远处的特林。明朝也一度在这里设置奴儿干都司，不过只为此了大约20年。
明朝后期，俄罗斯殖民者到达了黑龙江流域，他们趁着清兵入关之际，占领了黑龙江以北的地区。康熙时期，平定了“三藩之乱”，统一了台湾，于是对俄罗斯发动了雅克萨之战，收复了黑龙江以北的土地。此后，双方进行了谈判，签订了《尼布楚条约》，条约规定两国以外兴安岭为国界，于是清朝得到了黑龙江流域的绝大部分地区。后来清朝在黑龙江下游地区设置了黑龙江将军和吉林将军。
可惜，近代到来，俄罗斯在第二次鸦片战争中趁火打劫，将黑龙江以北，乌苏里江以东的100万平方公里土地抢走，逼迫清朝签订了《瑷珲条约》《北京条约》等。从此，黑龙江变成了界河，中国失去了黑龙江的入海口，也失去了库页岛。到了民国时期，又失去了外蒙古，于是黑龙江的源头也失去了。
