被迫回家后的那段时间，为了给自己的心灵上带来一些安慰，汤恩伯在他的寓所内设置了灵堂，每天都会焚香跪拜，反复地唠叨这一句话：“我虽不*伯仁，伯仁却由我而死……”
此外，汤恩伯还私下请人捉刀，为已经被枪决的陈仪著书立传，以此来给他的灵魂做一些解脱。
就在这本书稿快要结束的时候，却被蒋介石得知。随后，蒋介石不但让人抄缴了这部大约40万字的书稿，还让汤恩伯隔离反省了一周，更是彻底疏远了他。
在这种情况下，汤恩伯感到十分郁闷。苦闷的心情，最终诱发了汤恩伯的重大疾病。
1953年，汤恩伯被检查出肝部有问题。
得知自己患病后，汤恩伯不但没有难过，反而心里有些高兴。他正想借此机会前往日本。于是，汤恩伯便向蒋介石申请，希望到日本去治病。
在看到汤恩伯呈递上来的出国治病申请后，蒋介石只是淡淡地说：“有大过的人，还想到国外治病，浪费国币！”
紧接着，蒋介石在汤恩伯的申请上批示：“就地医治。”
得知蒋介石的批示后，汤恩伯虽然不满，但也不敢表现出来，只是带着些许气愤说：“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等死！”
后来，汤恩伯只好接受了台湾医生的诊治。
1954年4月，在一次检查后，汤恩伯被告知十二指肠部位有一个肿瘤，并对他说这个肿瘤很可能是癌症，建议他到国外做手术。
这次，汤恩伯怕了，赶紧给蒋介石送去了出国治病的申请，并附上了医生提到的出国治疗意见。
一个多月后，蒋介石在询问了多人的基础上，才确定了汤恩伯的情况，并批准了他出国治疗的请求。
得到批准后，汤恩伯对自己的身体很不乐观，因此没有任何兴奋，而是带着抑郁的心情，准备前往日本治病。
1954年5月26日，在家人的护送下，汤恩伯乘坐飞机，来到日本东京医治。这次住院后，汤恩伯再也没有出来。
6月29日，在做手术时，汤恩伯因失血过多，死在手术台上，终年56岁。
得知汤恩伯客死日本的消息后，蒋介石的反应极其冷淡，淡淡地说：“死了也好！”
汤恩伯死后，被接回了台湾，埋在台北县南宫壶山。后来，又被迁葬到五指山公墓。
事实上，蒋介石虽然反动，但也见不得忘恩负义之人。他知道陈仪是汤恩伯的义父。在汤恩伯军事生涯中，陈仪没少帮助他，甚至还将自己的义女王竞白许配给汤恩伯，对汤恩伯恩深义重。
在这种情况下，汤恩伯都能背叛自己的义父，他还有什么事情做不出来。这就是蒋介石对他的看法。
1924年，在明智大学求学期间与人做生意时，汤恩伯赔了个精光，还欠了一屁股债，不得不休学，并回国想办法。
回国后，在好朋友的引荐下，汤恩伯拜见了时任浙军某主力师的师长陈仪。经过交谈后，陈仪觉得汤恩伯是一块“可造之材”，就答应替他偿还债务，还承诺从此以后，每月会出50元钱，供他回日本完成学业。
对于陈仪的慷慨解囊，汤恩伯感激涕零，当场拜陈仪为师，后又认陈仪当了义父。
