莲花宝洞，在观音堂后有一石筑小洞，叫莲花宝洞，洞额题有：“隆庆二年（1568年）五月吉日造 莲花宝洞”。据碑文记载：“太原居士王公讳化者与室人郭氏咸有其善德”。于明嘉靖十七年（1538年）捐家资五十余两建观音堂。“后人造石洞于殿后，设郭氏之遗像”以资纪念。莲花宝洞分内外两间，内间洞门低矮、空间狭小，据说曾为僧人闭关修行之所。
老虎洞，在观音堂后100米接近山顶苍翠之地，有一个两米见方的石洞，因巨石形似老虎，故名老虎洞。洞内遗存有彩饰雕刻，周围发现唐代建筑遗构，推断为唐代佛殿遗迹，疑为中寺遗址。
舍利塔（地宫）及五重棺椁，在寺东50米处，是唐代佛塔的重建工程，2008年5月8日（农历四月初四），是文殊菩萨圣诞日，也是令全国考古界震惊的日子，成为太原当时最大的新闻。埋葬于太山龙泉寺唐代佛塔地宫内沉寂千年的金棺银椁被发现。这处建筑遗存是一座佛塔的遗址，塔基上部已完全损毁，仅残留一块呈长方形的塔基。塔基中部下方，是用砂石筑砌的大约1平方米的地宫，由过道、石门和地宫主体组成。石门两侧各有一尊浮雕力士像，微向前倾，上身赤裸，下身着羊肠大裙，动作夸张，神情威猛，为唐代石雕之精品。经过发掘，六边形的地宫内出土了一座长约58厘米的石函。发掘时，地宫墓道两侧均有彩色壁画，由于见光氧化不几日壁画脱落，只余下些许剥落的颜色。根据地宫规格推测，佛塔大约应该有10米高，考古挖掘后，并没有发现佛塔的其余残余部分。
