谢晋元当时一共带领450余人组成了一个加强营。为了混淆敌军视线，壮大声势，对外宣称800人。
经过实地考察谢晋元决定以上海四行仓库为据点掩护大部队撤退。这些战士到达仓库之后谢晋元再次鼓舞士气，同时也告诉自己的战友：这是他们最后的阵地也可能是他们的坟墓。这些战士发誓与四行仓共存亡。
四行仓库是当时四所银行联合的仓库，建筑是钢筋水泥修筑的，墙体很厚，还是很坚固的。仓库中储存着一些粮食等物资，这是因为银行担心货币贬值，用存款买了一些物资，进行保值。谢晋元为了大部队能够安全撤离，要求部队人员抱着必死的决心，坚守阵地。
他安排修筑工事，组织敢死队，将仓库内的电源切断，方便部队隐蔽，也防止敌人利用电线纵火。
很快，日本的王牌军第三师团就攻到了这里。
面对日军炮火的轰炸，这四百多名勇士虽然击退了敌人十数次强攻。他们始终坚守着一个信念，用生命守住四行仓库，阻止日军的前进。
激战四昼夜，以自己阵亡9人、伤20余人的代价，毙敌200余人，伤敌无数，成为当时举世瞩目的事件，在中国抗战史上写下辉煌的一页，极大地鼓舞了全国人民的抗战热凊。谢晋元也因此成为1937年11月8日出版的在全球颇具影响力的美国《时代》周刊封面人物。《时代》周刊在文章中写道：“坚守在四行仓库里的中国官兵，耀眼地出现在硝烟弥漫的上海。这是当年最为轰动的一次抵抗。”
但形势仍然不断恶化，四行仓库附近便是英军的租界，日军也不敢使用大型武器，毕竟伤及到了英军，或许这场战役将会变味，至少，日军目前的目标只有中国。而英军看到战火就在附近，担心会殃及到自己。并多次劝阻谢晋元撤军。然而，谢晋元却死守不放。对此，英军很是无可奈何，于是，英军直接发电致蒋介石，让其下命令撤军，一向崇洋媚外的蒋介石毫不犹豫地答应了。
10月31日，这是蒋介石的生日，他在这一天发出的唯一一份嘉奖令，是给谢晋元他们的，而这一天，也正是谢晋元带队撤入租界的那天。
前来欢迎的上海民众，在那天看着失去武器的八百壮士，都同样心情复杂，这基本已代表了八百壮士今后的命运。
但到了租界，却被收缴了武器，租界受到日军威胁，要他们交出谢晋元等人，但租界不愿意这样做，也不愿意得罪日本人，就将谢晋元等人当成战俘，羁押在了胶州路一个废弃的兵营中，派人看管。没想到，这一关就是四年，谢晋元等人就成了“孤军营”。
南京陷落后，租界成了孤岛，谢晋元等人处境更为艰难，即便如此谢晋元依旧没有放弃。
