1914年回国,担任东京爱乐乐团管弦乐部首席指挥。1917年赴美留学,于纽约卡内基音乐厅指挥和演出自己的作品。1920年归国后于帝国剧场举办了日本的首演。1921年担任日本文化学院音乐部主任。
1924年在中国哈尔滨组建日本交响乐协会。在这一时期写出了闻名世界的儿歌《红蜻蜓》乐谱。1926年乐团解散,并于同年回国。1930年改名山田耕筰。
20世纪30年代以后,日本宣传和情报部门利用音乐组织进行军事宣传,乐队受到日益严重的军国主义思想毒害,宣传歌颂日军侵略行为的作品增多,特别是在1940年至1945年,更为严重。
二战结束后,1948年与东京新闻的音楽评论家山根银二因为战时行为问题争吵,突发脑溢血,此后身体行动受限。1950年出任日本指挥家协会会长,获日本广播文化奖。1955年特邀出演电影《这里有泉》(ここに泉あり)剧中有孩子们演唱红蜻蜓的镜头,1956年获文化勋章。1965年11月因身体原因入住东京圣路加国际医院,12月4日出院,12月29日病逝于世田谷成城自家宅中。