1930年，蒋介石决定建立一支国民党内部的模范军队，这就是后来的国军教导师。蒋介石在成立教导师后，拥有日本军校留学履历的汤恩伯被蒋介石任命为教导师少将旅长。1930年，蒋介石发起中原大战，汤恩伯率领的教导师教导旅在中原大战中立下战功。
在中原大战中表现突出的汤恩伯，于1932年被蒋介石调入国军的嫡系军队，担任中央军第89师师长的职务。从此以后，汤恩伯成为了蒋介石的亲信。1933年，福建十九路军爆发事变，蒋介石下令让汤恩伯派兵围剿，汤恩伯完成了蒋介石部署的任务。
1934年，蒋介石发动对中央苏区的第五次围剿，汤恩伯再次被蒋介石调往前线，开展对红军的进攻。由于博古、王明错误指挥的影响，红军的第五次反围剿失利，被迫开始长征。汤恩伯则率领国民党大军，攻克江西中央苏区首府瑞金，这让汤恩伯一度在国民党军中声名大噪。
1935年，镇压福建十九路军兵变、攻克瑞金的汤恩伯再度升迁，被授予国民党中将军衔一职，并担任第十三军军长职务。国民党的第十三军，堪称是蒋介石嫡系中的王牌军队之一。从此以后，汤恩伯、胡宗南和陈诚三人被并称为“陈、胡、汤”，被蒋介石视为自己最信赖的三大心腹。
“水旱蝗汤”汤恩伯虽然汤恩伯在20世纪20-30年代因攻克红军中央苏区首府瑞金，在国民党内一度被称赞为“国军中会打仗”的人。但是，在抗日战争爆发之后，汤恩伯在国民党内外的名誉却一落千丈。
1937年7月，日本发动卢沟桥事变，抗日战争全面爆发。担任第十三军军长的汤恩伯被调往察哈尔省与河北省前线，与日军进行作战。在居庸关一线，汤恩伯率领部队与日军部队血战长达18日之久，为华东地区徐州会战、淞沪会战等几场大规模会战的准备提供了时间和空间。
1938年，日本一路进攻至徐蚌地区，徐州会战爆发。在李宗仁的指挥下，国军与日军于台儿庄一线爆发激烈战斗。汤恩伯率领第十三军部队，再次与日军在徐蚌的南口地区开展激烈战斗，成功拖延了日军部队的攻势，为台儿庄战役的胜利做出了杰出贡献。在范长江撰写的抗日战事通讯中，他一度对汤恩伯部队的战斗力赞不绝口。
台儿庄战役结束后，汤恩伯的部队被调往湖南等华北地区，整编为国军第三十一集团军。由于汤恩伯在居庸关战役、台儿庄战役中给日军留下了尤为深刻的印象，因此日军也将国军第三十一军称之为“汤恩伯部”，这也能体现出日军对汤恩伯部队战斗力的充分肯定。
然而，令所有人都没有想到的是，台儿庄战役的胜利竟然是汤恩伯一生军事指挥能力的巅峰。在此之后，汤恩伯指挥部队作战一败再败，自身的名誉在国民党内外也一落千丈，成为了一位战场上遗人笑柄的“草包将军”。
