1903年7月14日，东清铁路全线通车，开始正式营业，并成立中东铁路管理局，并将沿线地区强制划归铁路局管辖。
哈尔滨作为交通枢纽日渐繁华，但中国主权日益丧失。1899年，俄国即在哈尔滨成立警察局（兼管司法事务），强行实施治外法权。1903年，中东铁路管理局又在此设立“城市公共事业管理委员会”，借解决哈尔滨建设经费之名，行非法“自治”之实。
1907年1月12日，根据中日《会议东三省事宜条约》，哈尔滨辟为商埠，设立哈尔滨商埠公司，列强纷至沓来。同年3月，俄国财政大臣批准《中东铁路管理局组织大纲》，规定中东铁路管理局副局长民政帮办的权限为主管民政、地亩、对华交涉、医务、出版等事项。建立了一整套独立于中国行政系统之外的组织机构，成为沙俄在华的“国中之国”。
在现实因素下，清廷不得不做出改变。1907年1月23日（清光绪三十二年十二月初十日），清廷批准，设置滨江厅，“专理华洋交涉”及“命盗案件”。滨江厅设于傅家店（后改为傅家甸，今属哈尔滨市道外区），就近隶属哈尔滨关道（即滨江关道）。1907年4月(清光绪三十三年三月)，清廷裁撤奉天、吉林、黑龙江将军，设立奉天、吉林、黑龙江三省，哈尔滨属吉林省。之后相继将双城府、阿城县靠近滨江厅之沿江一些地方划归滨江厅，扩大了该厅管辖区域。
1908年3月11日，沙俄成立自治公议会（市议会）及董事会（市政执行机构）。其以俄国划入铁路的市区（现南岗区的部分街区）地段的十分之八（共4358090平方米）、埠头区（现道里区的部分街区）地段的十分之九（共3467344平方米）为辖境，总面积约7．8平方公里。
1909年4月21日，清朝政府外务部尚书与俄国驻华公使签订《关于中东铁路附属地行政权的预备协议》（共15条）。协议规定：在铁路附属地界内，应保证中国主权；自治公议会属于自治团体，不是地方行政机构。对协议规定条款的贯彻实施，双方议定由中东铁路管理局和哈尔滨地方行政当局进一步协商制订实行的办法。但此后俄方蓄意拖延协商，仍坚持实行自治公议会侵犯中国主权性质与措施。
此时的哈尔滨可以一分为二的看待，一部分以自治公议会的名义由沙俄掌控的哈尔滨市，另一部分属滨江厅，民国时期为滨江县。沙俄之所以未能彻底掌控哈尔滨，这与当地民众的反抗，十月革命的爆发不无关系。
1900年义和团运动爆发，黑龙江将军寿山派庆祺为翼长，总统东路镇边各军赴呼兰，待命进攻哈尔滨。7月8日，奉、吉、黑三省将军联名致函中东铁路建设局局长尤格维奇，要求俄国人移交中东铁路财产，保证他们安全撤出中国国境。7月9日 宾州、呼兰、北团林子（绥化）、阿勒楚喀等地义和团拆毁哈尔滨周围的通讯设施、铁路和桥梁。7月11日起，哈尔滨完全与外部隔绝，俄国人处在义和团和清军的包围之中。7月14日，瑷珲卡伦山之战的捷报传到呼兰城，全城鼎沸，群情激昂，军民一致要求出兵进攻哈尔滨。
1900年7月25日凌晨04:00，总攻打响，数万义和团与清军兵分三路进攻哈尔滨，在四门大炮的轰击，以及广大军民不畏生死的战斗下，逐步向哈尔并腹地挺近。
1900年7月26日，呼兰统领定禄率所部3营、炮队1营由涝洲船口渡松花江，攻入哈尔滨，占领元聚烧锅。后义和团和清军分3路，右翼长庆祺统领四营兵由背江子向江北船坞，占据元聚烧锅的定禄部队向火车站和新市街，驻田家烧锅的清军向香坊同时发起进攻。8月3日，战斗正酣之际，沙俄援军赶到，不得不撤走。
这虽是一次称不上成功的战斗，但迫使沙俄当局做出改变。1903年7月14日，中东铁路管理局成立。早在1898年，为消除中国人民的主权意识，沙俄殖民者曾把哈尔滨改称“松花江市”。自即日起恢复了“哈尔滨”原名，“松花江车站”也改称“哈尔滨车站”。
1914年5月23日，滨江厅改滨江县属吉林省滨江道管辖。1917年11月7日，十月革命爆发。沙俄势力后继无援，中国政府逐步掌握主动权。1917年12月26日，中国政府在哈尔滨设立铁路警备司令部，后改设中东铁路护路军总司令部，接管中东铁路全线护路权。
1920年3月，中东铁路工人大罢工取得胜利，控制中东铁路的白匪头子霍尔瓦特被赶下台。中国军队解除了哈埠及铁路沿线俄军武装，接管了路务。同年10月31日，北京政府颁布《东省特别区法院编制条例》，规定中东铁路附属地改称东省特别区。1921年2月5日，成立东省特别区哈尔滨市政管理局，掌管中东铁路沿线各地市政。
1922年2月28日，中苏议定《中东铁路大纲》，规定中东铁路由中国政府特设机构管理。同年11月24日，东三省保安总司令部宣布，中东铁路沿线11公里以内区域，划为东省特别区，设东省特别区行政长官，所有特别区内之军警、外交、行政、司法各机关均归护路军总司令兼东省特别区行政长官监督节制；12月8日，北京政府公布《东省特别区行政长官办事条例大纲》，1923年3月1日于哈尔滨正式成立东省特别区行政长官公署。
1926年3月30日，东省特别区行政长官下令解散自治公议会及董事会，9月1日成立哈尔滨特别市，彻底收回哈尔滨市政权。此时哈尔滨市政管理分属哈尔滨特别市政局、滨江市政筹备处、滨江县、松浦市政局及东省特别区市政管理局。
1929年2月，裁撤道区，滨江县改由吉林省直辖。同年5月1日，吉林省政府决定，设立滨江市政筹备处，划傅家甸、四家子、圈河、太平桥等地为滨江市辖区，脱离滨江县，为吉林省辖市。
1932年2月5日晚，哈尔滨陷落。3月1日，日本扶持废帝溥仪建立伪满洲国，年号“大同”。1933年7月1日，伪哈尔滨特别市公署成立，直隶伪满洲国国务院。辖境包括原哈尔滨特别市政局、滨江市政筹备处、松浦市政局及东省特别区市政管理局所辖香坊、顾乡、八区、新阳等全部地区并划入邻县数十屯。1937年7月1日，伪满洲国改革地方行政制度，伪哈尔滨特别市公署改为哈尔滨市公署，为滨江省省会。
