洪秀全在珠江北岸的桂平金田村，要推翻清廷，必须北上湖南。曾国藩已经知道洪秀全的事情，在清军不堪一击的情况下，咸丰帝只能重用汉人。他派人告诉曾国藩：卿熟悉湖南地方人情，可帮同办理本省团练乡民，“清剿发逆”。此时太平军已攻克长江中游的重镇武昌，清廷在江南的统治岌岌可危。在郭嵩焘的劝说下，曾国藩决定“以身许国”，实际上是维护封建礼教，时间是1853年初。
太平军之前只是路过湖南，并没有摧毁湖南的封建基础。湖南农业发达，人口稠密，水运便捷，这都是曾国藩创立湘军（最早称湘勇）的有利条件。刚开始，曾国藩的主要任务是在湖南境内“清匪”，也就是打击各种依附于太平军的地方组织，什么串子会、一股香会、半边钱会。太平军已离开湖南，留在湖南的组织如同一盘散沙，很快被曾国藩个个击破。
曾国藩的湘军总部设在湘江与耒水汇合处的衡阳，既可北上湖南，又可西（南）进广西、南下广东。此时的曾国藩羽冀未丰，洪秀全则如日中天，攻下武昌后又顺长江东下，攻克清廷在南方的统治中心南京。
在1854年3月的岳州（湖南岳阳）之战中，曾国藩惨败，羞愤之余要投水自*，被部下捞了上来。一年后，曾国藩又在江西湖口被石达开击败，这次又跳水了，但不是自*，而是逃难，他坐的船被太平军捞走了。
