大部队撤退之后，四行仓库外围还有一处钢筋混凝土掩体。谢晋元料定日本人会利用这个掩体，便在其中藏了许多手榴弹，外加一颗大号的迫击炮弹。后来，日本军队果真钻了进去，守军从外面把连着手榴弹的绳索一拉，手榴弹连着迫击炮弹，一起爆炸，随即一屋子日军全部上了西天。
等到日军正式围攻四行仓库时，谢晋元更是频频设计，打击敌人。比如四行仓库有一面没有窗户，钢筋水泥的墙壁上又很难凿出枪眼，谢晋元就故意引日军利用平射炮进攻。要知道，四行仓库是银行造的楼，几颗炮弹对它来说危害不大，但是待平射炮轰炸之后，四行仓库的墙壁上出现了很多“枪眼”，守军既可以向外射击，又能向下扔手榴弹，打得日军狼狈不堪。
谢晋元的战术十分奏效。在短短的几天时间内，日军接连向四行仓库发动七次进攻，但均无功而返。
无奈之下，日军只得夜袭。即便如此，日本人也没有占到什么便宜。谢晋元命令守军晚上不得开灯，以避免暴露。若发现日军发动夜袭，要用信号弹进行射击，一旦发现目标，轻重机枪、手榴弹便一起上。后来谢晋元还把仓库里面的棉花翻了出来，搓成了捻子，浸上煤油，点着之后往地面一扔，即便日军能侥幸逃过子弹，也会被火烧死。
就在谢晋元和日军鏖战时，苏州河对岸的公共租界内，无数双眼睛也在关注着这场战争。他们看到，一个中国士兵浑身裹满手榴弹，突然从仓库顶上一跃而下，跳入日军之中，轰然一声，与敌人同归于尽。
目睹这场战役的，不仅有洋人，还有许多来公共租界避难的中国老百姓，看着中国军队的英武，大家不由得热泪盈眶。
10月28日夜，一名叫杨慧敏的女童子军，冒险进入了四行仓库，把一面浸透着汗水的国旗送到了谢晋元面前。谢晋元的眼眶湿润了，守护国家尊严、维护民族独立，是支撑他和战士们战斗的动力。
四行仓库没有旗杆，谢晋元让人找来了两根竹竿。没有华丽的奏乐，没有隆重的仪式，只有日军的嚎叫，还有不时射来的冷枪。此时东方已现鱼肚白，在曙光微茫中，谢晋元和“八百壮士”庄重地举起了手，向国旗敬礼。
猛虎被缚，永不低头
10月30日，“八百壮士”守卫四行仓库的第四天，日军派人来到了租界工部局，声称要调集重炮和重机枪，对四行仓库发动一次总攻。
之所以要发布这个通牒，是因为在连续几天的仓库争夺战中，日军可谓吃尽了苦头。光仓库周围被打死的日军就有两百多，而“八百壮士”只有三十多人伤亡。时间一长，日本人受不了了，发通牒就是告诉西洋人，他们要硬来了，不管什么国际法了。
工部局接到通牒之后，自然非常害怕。要知道，四行仓库通往公共租界的路上，有个巨大的煤气桶，要是日军不顾一切乱打一气，万一打到这个煤气桶上，引起了爆炸，整个上海就有可能遭殃。
于是，各国使节都拿着照会前来说情，要求中国政府尽快安排四行仓库的守军撤离。而这正是蒋介石的目的，现在全世界基本上都知道上海有个四行仓库了，也没有必要让谢晋元死守了。
不过，谢晋元却拒绝了撤离。他才打了四天，弹药消耗不过十分之一，吃的喝的足以支撑三年，更为关键的是，“八百壮士”都有*敌报国的决心，此时不和日本人决一死战，更待何时？他明确告诉上司，不会为了保命而逃去租界，要和日本人战斗到底。
眼见日军发起总攻的时间即将到来，负责联络的宋子文再次找到谢晋元，称他是个军人，军人以服从命令为天职，现在必须马上撤退。
宋子文搬出了军令，谢晋元也不好再说什么，只得同意撤退。10月31日零时，“八百壮士”全部撤出四行仓库。在此期间，日军企图半路截击，但英租界的指挥官命令手下，在“八百壮士”撤退时，用重机枪进行保护。
英雄，无论在何地，都会让人肃然起敬。
日军在“八百壮士”撤离之后，占领了四行仓库，随即他们警告工部局，要求把谢晋元所部引渡给他们，否则将会对公共租界进行炮击。工部局并没有答应日本人的条件，不过，他们仍然收缴了“八百壮士”的武器，将他们羁押了起来。
不是俘虏，却无形中成为了俘虏，谢晋元悲愤交加，他虽然又饿又累，但是始终不肯吃工部局提供的点心。从此，“八百壮士”失去了自由，成为了真正的孤军。
即便如此，也没有让“八百壮士”低下自己的头颅，在没有国旗的情况下，他们在牢笼中天天“升旗”。每天早上，由谢晋元带头，向空中敬礼，敬礼完毕，大家肃立唱国歌。
谢晋元他们不知道自己将会关押多久，但他知道，只要中国不亡，他们迟早有一天会回到战场。不过，随着时间的推移，外边传来的消息越来越不好，南京失守了，蒋介石跑到了重庆，胜利和反攻似乎已经飘渺无期。尽管如此，谢晋元仍每天唱诵国歌，他坚信迟早会打回来的。
可惜的是，谢晋元没有等到这一天。1941年4月24日晨5时，谢晋元按例率官兵早操，当时有上等兵郝鼎诚、龙耀亮、张文清、张国顺等4人迟到，谢晋元即询问其原因。谁知他们早已被汪精卫收买当了汉奸，突然取出预先带进营内的匕首及铁镐等凶器，蜂拥而上，猛刺谢胸部及左太阳穴。谢多处重伤，流血不止，至6时许悲壮长逝，年仅37岁。团副上官志标见状上前捉拿凶手时，亦被刺成重伤。
