三祖寺，位于潜山城西北9公里天柱山谷口的凤形山。此地群山环抱，溪谷幽深，山谷中突兀一峰，宛如一只蹁跹的彩凤，故名凤形山。这里是一个天然谷口，清澈的山谷流泉，从凤形山西侧流出，经谷口汇入潜河，青山翠谷，水光山色，汇成了谷口的独特风貌。
起初，这里叫山谷寺。传说，梁武帝年间，有宝志禅师与白鹤道人都想占据这个名胜之地开辟道场。梁武帝得知二人都具有灵通法术不好裁决，就让他俩比试，以物识地，得者居之。白鹤道人说：某以鹤止处为记。宝志禅师说：某以卓锡处为记。然后，就比试起来，只见白鹤道人将手中的拂尘抛向空中，顿时化为一只白鹤飞向凤形山。说也迟那也快，宝志禅师将手中的锡杖掷向空中，顿时化作一条巨龙追去。白鹤飞到凤形山上空，正要落地，忽见巨龙飞来，吓得落在了白鹿岗上。宝志禅师的锡杖就深深地卓入凤形山上。当他收起锡杖，卓土处立刻涌出一股甘泉，这就是建寺后的卓锡泉，又名卓锡井。宝志禅师得胜之后，就在凤形山开山建寺，梁武帝赐名为“山古寺”。
当然，这里还有潜山隐士何求、何点、何胤三兄弟不念高官，隐居此地建书院、捐书院改寺院的事宜。后世为了纪念这“三兄弟”，故立碑建亭以记之，曰：“三高亭”。
北周武帝灭佛时，二祖慧可护法南下，来到舒州皖公山（即天柱山）找到了高徒僧璨，便驻锡岳西县司空山。从此，僧璨往返于司空山与天柱山之间，隐姓埋名十余年。随着宣帝、静帝即位，佛教再兴，僧璨于隋开皇二年在司空山得到二祖慧可传承衣钵后，便正式驻锡山古寺，研著《信心铭》经典，公开传经布法。
在禅宗发展史上，可以说，三祖僧璨是个重要标志。初祖达摩将禅法带到中国来，人们遇而未信；到了二祖慧可，人们信而未修；到了三祖僧璨，人们这才有信有修，变“不立文字”为着经传教，成为汉传佛教中最具中国特色的宗派之一。
三祖僧璨后来将衣钵传给道信。隋炀帝大业二年在寺前法会大树下，为众说法后合掌立化，葬于寺后。唐乾元元年肃宗李亨又赐山古寺为“三祖山谷乾元禅寺”。
