李宗仁在就任南京国民政府的临时代理总统后，立即对国民党的长江防线进行了大刀阔斧的调整，并且对汤恩伯的军事指挥能力提出了严重的质疑，李宗仁在回忆录中写道：“汤恩伯当一名师长尚且心有余而力不足，更何况要把京、沪、杭等江南战略要地交给他来管！”
事实证明，李宗仁对汤恩伯军事指挥才能的判断果然没有错。1949年4月，解放军发起渡江战役之后，汤恩伯苦心经营的京沪杭防线一触即溃。眼见汤恩伯无力防御解放军的强大攻势，蒋介石只好给汤恩伯寻找了另一份差事，那就是帮蒋介石将中国大陆上的黄金、白银储备运输往台湾。
面对这种搜刮民脂民膏的差事，汤恩伯显然要比带兵打仗在行得多，在他的指挥下，大批中国大陆的金银财宝纷纷被运输上了开往台湾的货轮，汤恩伯此举给中国日后的经济建设事业带来了不可估量的损失。
在国民党败退中国大陆之际，汤恩伯还做了一件让后世唾骂的蠢事：那就是他出卖了昔日里自己的上级陈仪。在国民党败退大陆之前，陈仪曾给汤恩伯写信，邀请他一起投靠我党，但汤恩伯却将陈仪的信交给了蒋介石。最终，陈仪被蒋介石押送往台湾，执行枪决。
陈仪的死，使汤恩伯留下了终其一生都难以抹去的污点。然而，令汤恩伯更加感到郁郁寡欢的是，即便自己“出卖”了陈仪，向蒋介石表达了自己的忠心。他也依然没有得到蒋介石的重新信任和重用。汤恩伯一度因蒋介石可能会惩办自己而感到担惊受怕，汤恩伯逐渐萌生了后半生逃亡日本的想法。
1953年，汤恩伯被蒋介石任命为驻日军事代表顾问团一职，但短短几个月后就被免去职务。在友人的帮助下，汤恩伯最终前往日本东京定居。一年后，汤恩伯因病死在了手术台上，终年55岁。
汤恩伯的一生，一共有两个儿子。其中他的长子汤一元是汤恩伯与原配夫人马阿谦所生，在父亲病逝后，汤一元远赴美国做生意，商业成绩斐然。而汤恩伯与第二任妻子之间的孩子汤建平，也在父亲病逝之后赴美从商，过着富足的生活。
