在校期间，他写了《步兵中队教练之研究》一书，深得蒋介石的赞赏，加上陈仪的竭力推荐，他在老蒋心中的地位迅速攀升，1930年即升任军校教导第二师少将旅长，自此迈入早期蒋军嫡系行列，后来更是被任命为第2师中将师长，可谓春风得意，前途无量。
从这一时间开始到抗战爆发前，汤恩伯主要的任务就是进攻苏区的红军，他首先率部进攻福建苏维埃人民政府并攻下福州；而后，他参与围剿中央苏区，并第一个进入中央苏维埃的首都瑞金，可以说是蒋介石围剿红军的急先锋。
中央苏维埃的首都瑞金
红军到达陕北后，他任陕北剿共善后办事处主任，曾组织抗击伪蒙勾结日伪对绥远的进犯；西安事变爆发时，他立即通电全国，讨伐张学良和杨虎城，并率部“勤王”，态度之坚决，让事后的蒋介石感动不已。
“七七事变”爆发后，汤恩伯立即亲自连续草拟了五封电文，探明真相、请示蒋介石、致电宋哲元、全军枕戈待旦，坚决抗击日本侵略军。
抗日战争
抗战时期是汤恩伯最高光之时，他血战南口，阻敌漳河，参加了台儿庄会战，正是他采取的运动战和反包围的战略，才取得了自抗战以来中国军队的第一次胜利，极大地鼓舞了全国人民抗战热情，他也被授予青天白日勋章，被誉为“抗日铁汉”。
继而，在武汉会战、随枣会战、枣宜会战、豫南会战、桂柳会战、湘西会战等一系列的战役中，他都是主力军，多次重创日军，斩获颇丰；因此，被日军华北方面军视为天字第一号大敌和心腹之患，在数次大会战中，日军均是以寻歼汤恩伯部为主要作战目标。
民国政府主席林森颁发给汤恩伯青天白日勋章的证书
需要着重说明的是，相比于陈诚率领的中央军坚守在大后方，以及日寇尚未染指的“西北王”胡宗南，汤恩伯硬是在这四战之地的河南，同日寇周旋，生生地形成了一个拥兵40万的“中原王”，他也被日寇视为最忌惮的中国将军之一。
但是，由于他为了扩大军队，招募和收编了很多土匪出身的人员，这些毫无军纪可言的惯匪们，抢夺民财，祸害地方，民众怨声载道，这也给汤恩伯的声誉带来了极大的损害，于是才有了“水旱蝗汤”之说。
