小泰山的山顶有一座碧霞宫，始建于明代万历元年（即公元1577年），距今已有四百多年历史，虽经后世维修重建，但主体建筑依然保留了当初的模样。碧霞宫又叫“小洞天”，殿内供奉着碧霞元君，民间称之为“泰山老奶奶”，传说能带给人们梦寐以求的幸福，因此从建成之始香火一直都很旺盛，周边很多信奉者都会来这里烧香磕头祈福。
小泰山碧霞宫正殿抱厦石柱上刻有四副对联，字体不同，笔法古朴苍劲，深得书法爱好者喜爱，而其中两幅又为许多游人得意会之美：泉美林秀何处再觅佳境，水抱山环此地即是蓬莱。 碧落千层元气半照肥邑，霞光万道君民共仰泰山。这两幅对联生动展现了肥城小泰山的独特魅力，给了人们无限的想象空间。
