衡山有佛教五大丛林：上封寺、祝圣寺、福严寺、南台寺和大善寺，佛教最早进入南岳衡山是在梁天监年间，大约是公元502-519年，由惠海、希遁两位高僧带入。四十多年后慧思禅师来到衡山，弘扬佛教文化，慧思被尊为天台三祖。此后，衡山曾先后有南岳十八高僧都曾是历代帝王的国师，衡山也备受尊崇，达官显贵、文人墨客都与南岳高僧交往，赋诗论道，绵延不绝。
位于衡山山腰的道教道场玄都观，道教进入衡山比佛教还要早两百年，最早是东汉的道教传人张道陵来到南岳衡山，唐代道士司马祯及弟子薛季昌、王仙峤等都被封为天师，衡山甚至还有被授三品官职的道士，唐代时衡山的佛教和道教文化都达到鼎盛，道观、寺庙规模宏大，僧侣、道徒众多。关于衡山的道教和佛教文化历史流传下来的多部古籍均有记载。
