日俄战争结束后日本获得了南满铁路，一直到一战期间，日本在东北的主要目标是向沙俄占据的北满渗透和扩张，日本间谍的工作目标随之转向刺探北满俄军和事关中东铁路的各种军事政治经济情报。日本在哈尔滨设立的南满铁路株式会社，名义上是铁路经营管理机构，实际上是日本在哈尔滨的间谍情报部门，其中有个调查科是专门研究沙皇俄国和各驻哈外交使团动态信息和中东铁路形势的。
1917年俄国十月革命爆发以后，日本侵略目标发生了战略性转折：由反对沙皇政府变为联合沙皇反动武装，并且直接参加帝国主义协约国，出兵西伯利亚和远东与苏维埃工农红军作战，武装干涉新生的苏维埃政权。在哈尔滨则是由反对沙俄的中东铁路当局转为联合、扶持中东铁路当局。日本间谍的工作目标也作了相应的转移。
1919年俄国白军和外国干涉军被红军击败，25万高尔察克、谢苗诺夫的残部退入中国东北。日本企图将谢苗诺夫几万残部拉到哈尔滨和大连一带为日本侵华服务，而谢苗诺夫对此并不感兴趣，一心想返回中俄边境依靠俄国地主富农图谋东山再起。此时的西伯利亚阿菊山本菊子，奉命先是使出美人计将谢苗诺夫迷得晕头转向，接着提供假情报称苏俄特工潜入满洲伺机*害他，只有投靠日本才有出路，最终迫使谢苗诺夫率部归顺了日本。此后不久，1923年年仅37岁的山本菊子因病死于哈尔滨。
1918年7月9日，霍尔瓦特成立“全俄临时政府”自任“最高行政长官”，日本表示支持并趁机向霍尔瓦特索要路权、警权等，同年在哈尔滨颐园街3号正式成立哈尔滨特务机关所。建于1916年的颐园街3号，是哈尔滨犹太富豪斯基德尔斯基的私邸，1918年被其儿子卖给日本人，从此这里成为哈尔滨日本特务机关总部所在地。
1920年，日本特务机关在哈尔滨今中宣街24号建立日本间谍培训学校——日露协会学校，后称哈尔滨学院。这个学校从1920年9月成立到1945年日本战败的25年间培养的1412名毕业生，全部成为对苏谍报人员，分配到专门特务机关和驻苏使馆。这所学校培养了不少顽固的侵华分子，例如指挥围剿并*害杨靖宇将军和东北抗联战士的日军指挥官岸谷隆一，就是这个学校的首期毕业生。1945年日本投降，这所学校的最后一任校长、曾经*害民族英雄赵一曼的涩谷三郎，携妻儿全家自*身亡。
1931年9.18事变后，日本为了加强对苏联情报工作，将土肥原贤二从奉天(沈阳)市长任上调任哈尔滨特务机关长。日本大特务头子——土肥原贤二，是主持情报工作的日军陆军大将，1948年被远东国际军事法庭判处绞刑的日本甲级战犯。他早在1913年就来哈尔滨从事间谍特务活动;1931年1月29日，他就任哈尔滨特务机关长，参与策划了9.18事变、建立伪满洲国、唆使在天津的“末代皇帝”溥仪来长春就任伪满洲国皇帝、七七事变——几乎所有的日本侵华重大事件都与他有关。
1931年日本蓄谋发动侵略中国东北9.18事变，6月发生的中村事件成为日本为发动9.18事变造势的舆论借口。日军参谋部大尉中村震太郎一行化装成中国农民，到中国东北执行军事侦察任务，被驻守的中国屯垦军第三团拘捕。中村一行供认不讳并有缴获的手枪、军用物品和绘制的侦察地图为证，是不折不扣的军事间谍，团长关玉衡与团内官兵商定后将这几个日本军事间谍秘密处决。没想到在中村与中国士兵搏斗时将自己的“三道梁”牌手表打飞，被司务长李德保捡走拿到当铺当掉，由此传出的消息被日军截获，得知中村被中国军人处决。日军闭口不谈中村的间谍活动而以手表“为证”反诬中国士兵图财害命*死了中村，于是日本内阁威胁中国政府，为三个月后即将爆发的9.18事变造势。
