地名的来历流传着一个美丽的传说：唐代地藏王到南方巡视，路过此地时，看见这里水秀山美，便有心选择这里作为建寺宝地。
...却不曾想他从云层落下时下脚过猛，将山峰踩为两半。原本峻峭的山峰被踩踏成两半，地藏王好 不后悔，只好另行选择不太远的九华山作为建寺之地。
但他仍对那事情念念不忘，聪明的弟子洞悉了他的心思，便选了脚踩位置斜对面的南山村山脉上建立了一座寺庙，与九华遥相对望，甚至清晨驻足静听，九华钟声也隐约入耳。传说九华山的“僧会司”（和尚的法庭）曾设于南山，可见地藏王对南山寺的看重。
南山有三宝：斑竹、无骨鱼和碧鸡鸟，无骨鱼长约三寸，全身乌黑发亮，无一刺卡，鱼肉鲜嫩，是宴席中的珍品，过去曾是皇家贡品。
出自古诗词《道谷南山》
道谷踞南山，燕赵疆图北，
石器时期玉龙乡，塞外山川美。
锦绣生态园，日晚人陶醉，
仙地祥居滑雪场，最羡湖光媚。
