1913年6月8日“德意志体育场”开幕游行
尽管军国主义横行，德国政府还是接受了顾拜旦的好意，并且立即开始场馆建设工作。德国将奥运会主会场命名为“德意志体育馆”（Deutsches Stadion），建在柏林西郊格伦沃尔德大型赛马场地的中央，包括能够容纳18000名观众的座位，以及12000人观礼的站台，并且还包括20间供昼夜训练的运动员休息使用的小卧室。1913年6月8日场馆正式建成，柏林市政府举行了盛大的开场游行，还放飞了10000只白鸽。
1916年柏林奥运会海报
可惜的是，1914年一次世界大战的爆发彻底打破了顾拜旦的好意和柏林市政府的努力。战争迅速蔓延至整个欧亚大陆，眼看战争的长期化使奥运会失去了继续举办的可能。为了遵守国际奥委会的宗旨，并且谴责帝国主义列强的战争行径，以顾拜旦为首的国际奥委会决定取消这次奥运会。按照古代奥运会传统，凡因故未能举办的奥运会仍然计算届次（被取消的冬季奥运会则不计入届次），因此第六届奥运会永远地在奥运史上缺席了。
1916年柏林奥运会纪念邮票
这是现代奥运会首次停办，对于新生的现代奥运造成了沉重打击。1915年，法德西线战场战况激烈化，使得巴黎日益受到威胁，为了安全起见，国际奥委会总部由巴黎迁到了瑞士小城洛桑，并且永久定居于此。而柏林再次与奥运相逢，则要等到20年后的1936年。
因二战停办的东京奥运会和伦敦奥运会截至1932年洛杉矶奥运会，已历十届的奥运会举办地都是在欧洲和美洲，作为当时亚洲唯一的现代化强国，日本为了展现自身实力，急于成为奥运会的首个亚洲举办地。尤其因为1940年是日本“神武纪元二六〇〇”年，如果能够在这一年成功举办，将极大地提高日本政府的国内外声誉。
1940年东京奥运会海报
为此，时任日本东京市长的永田秀次郎提出动议：申请于1940年即日本昭和十五年，举办的第十二届奥运会主办资格。此动议得到了日本政府高层的重视。首位日籍国际奥委会委员、著名柔道教育家嘉纳治五郎多方奔走，终于在1932年国际奥委会洛杉矶会议上代表日本正式提出申办请求。由此，东京成为第十二届奥运会候选城市。
1936年柏林奥运会期间，国际奥委会讨论了1940年第十二届夏季奥运会的举办地问题。东京作为唯一的亚洲城市，从14个申请城市中被选出，与芬兰的赫尔辛基一起获得预选权，在最终表决时，由于顾拜旦对亚洲城市的支持，东京以37：26票击败赫尔辛基，取得1940年第十二届夏季奥运会举办权。
