咸丰二年，曾国藩干了第二件大事。他借着清政府为对抗太平天国运动，鼓励地方组建团练的契机，回到湖南组建了“湘勇”。同年又奉命组建了一支装备精良的水师。此时的湘军已经逐渐成型，这支后来打下半部中国近代史的军队，也成为曾国藩之后仕途的重要筹码。
当然，曾国藩和他的湘军开头并不顺利。咸丰四年，靖港水战湘军大败，死里逃生的曾国藩被清政府革职。不过后来曾国藩重整军备，率军陆续攻陷湘潭、岳州等重镇，才被清朝赏赐二品顶戴，兵部侍郎衔，并赐了黄马褂。之后曾国藩的湘与太平天国苦战数年，互有成败。
累有战功的曾国藩先后被授予兵部尚书和两江总督，总督江南军务。此时的曾国藩官居一品，奉命总督苏、皖、浙、赣四省军务，相当于如今的东部战区司令员。又因其能够节制四省地方官员，总管政务，算得上四省省长。
同治年间的曾国藩
同治三年，湘军攻破天京。曾国藩被封一等侯爵，赏赐双眼花翎。同治六年又被授予体仁阁大学士一职，为正一品宰相，相当于现在的正国级。之后的曾国藩虽然在直隶总督和两江总督的职位上几番调动，但此时的曾国藩其实已经封无可封，清朝只能用一些荣誉头衔褒奖。
清朝总督共设置9位，担任过大学士的大臣也非常之多，那为什么说曾国藩的权势在整个清朝，都难有与其比肩之人呢？这么说，是因为除了职位外，曾国藩还有附加分。他组建的湘军是晚清势力和战斗力最强的军队，没有之一。从湘军走出来的文臣武将，包括由曾国藩举荐的大臣，几乎遍布了整个大清朝堂，封疆大吏更多数都为湘军子弟。包括李鸿章的淮军组建都有曾国藩的功劳和人情在。
