唐华严经幢，正院西北隅与唐碑对称的位置上，矗立着一个高64厘米的八角形经幢，是我国现存为数不多的华严经幢之一。幢文上首题“大方广华严经之幢”，末署“门人比丘□照书，文德元年九月”。文德元年（888年）是唐僖宗（唐僖宗 李儇xuan 是唐朝除武则天之外的第18位皇帝，是唐玄宗之后又一位避难逃往四川的皇帝。）的最后一年，距今已有1100多年的历史。它是1998年工作人员在后山勘察时无意间发现并保护下来的。1940年12月，日本人日比野和水野清一夫妇登临太山。在其后所著《山西古迹志》中记载到“虽然经幢上部已经缺失，但残高仍有一米左右。经幢上的石笠雕着丰盈的莲花，下面的方趺上雕着羽翼反转的怪兽。幢身为八角形，高64厘米，显得比较短矮一些”。现存经幢与此记载相吻合，证实此经幢为太山龙泉寺遗物。
主殿和佛祖阁，沿台阶上去便是主殿，主殿为仿明二层楼阁式建筑，建于明洪武六年（1373年），历代多有修葺。主殿为大雄宝殿，殿内供奉三世佛，分别供奉释迦摩尼、阿弥陀佛 药师佛，两边塑像共180尊，左右两边各90尊，均为泥塑。大殿两侧建窑洞式平顶禅房各一间，东西厢房为窑洞式平顶建筑。主殿二楼为佛祖阁，佛祖阁供旃檀佛立像，山墙及后墙仿崇善寺明代藏画，绘制《八相成道》壁画。主殿前的一株古松，犹如一条巨龙，蜿蜒曲折，直冲云霄，称“飞龙松”。殿前台阶下两侧，各有槐树一株，东侧一株根系在唐碑基座赑屃（bi xi）之下，推断应为唐槐，虽遭雷劈劫难，但依然枝繁叶茂。佛祖阁顶山崖有一小洞，曰皇姑洞。据碑文记载：“至祐之年，皇姑静息于山巅之洞。”皇姑，传说为北汉宗室之女，因少主继恩（北汉第三个皇帝）被害而遁入空门。
观音堂（八角亭），是龙泉寺的精华所在。绕行佛祖阁至后院，平台开阔，周边砌十字花栏矮墙，中间并列着3座砖木结构的建筑，分别是观音、文殊、普贤3殿，据记载为明嘉靖十七年(1538年)所建。正中观音堂，俗称八角亭，是一座独具特色的建筑，八角形的圆殿，建筑结构奇巧玲珑。堂内保存有佛教造像和悬塑共79尊，内容丰富，集天王殿、观音殿、罗汉堂、三圣殿所表现的题材于一堂。其建筑为八角攒尖八卦悬顶式，体量宏大。殿顶饰黄色雕花琉璃脊，青琉璃瓦覆盖，堂檐深邃，斗拱着五彩，建筑结构精致。殿中宽阔，正面靠墙塑西方三圣，背墙则为佛国人物、殿宇、山水、花草等悬塑。阁中央六角莲花台上端坐着观世音菩萨，善财童子与龙女凌空侍奉左右，两旁十八罗汉面对菩萨。东西两侧墙壁上悬塑着各路神仙会聚海波之上。阁门两侧为四大天王神像护法。整个堂内雕梁画栋，悬塑构思独具匠心，塑像层次分明，塑工冼炼，色泽纯朴，人物洒脱，衣饰灵动，精美绝伦，极富明代造像俏丽俊秀的风格，距今480余年依然完美鲜亮，堪称建筑和雕塑浑然一体的佳作，是太原唯一保存有明代悬塑的佛教胜地。观音堂东西两侧为文殊殿和普贤殿，为硬山顶式建筑。殿内分别供奉文殊菩萨、普贤菩萨，均为明代所塑。
