鸦片战争以后,中国国内阶级矛盾空前激化,各地农民起义风起云涌。从1842年到1850年,国内农民起义和暴动有九十多起。两广和湖南地区,农民起义的规模大、次数多。
清咸丰二年(公元1852年),太平军由广西全州攻入湖南,沿途人民纷纷投奔太平军。衡阳船工、水上天地会首领陈忠德率船工(会众)数百人驾木船数十艘加入太平军,建立太平军第一支水师。后来攻打岳州时,这支船工组成的水师在洞庭湖大败湘军,为太平天国立下了功劳。
鸦片战争以后,西方传教士来到衡阳进行文化侵略,残害人民,作恶多端,引起了广大人民的极大愤怒。咸丰十二年(公元1862年),衡州人民连续捣毁了城内外的黄沙湾等教堂,史称第一次衡州教案。光绪二十六年(1900年),意大利籍教士董哲西以扩教堂为名,妄图霸占江东大片土地,勒令当地船民、农民、渔民数百人限期搬出,愤怒的群众,忍无可忍,捣毁了教堂,打死董哲西等教士五人,这是第二次衡州教案。两次教案虽遭到清政府的残酷镇压,但为衡阳人民反抗西方资本主义文化侵略写下了光辉的一页。