灵谷寺内有方胜池、金刚殿、天王殿、无量殿、吴芳殿、毗卢殿、观音阁等殿堂。寺庙后面有包公铁塔。谷寺玄奘纪念馆供奉玄奘法师坐像，雕像前的玄奘法师纪念塔内有玄奘顶骨舍利。
灵谷寺内的建筑形式与很多寺院不同，这主要与这里的历史有关，主要建筑有放生池、金刚殿、天王殿、毗卢殿、藏经阁等。
无梁殿，是游客经常打卡的殿宇，走进无梁殿之中，会惊奇地发现这座规模庞大的殿堂竟然没有任何的梁木结构，整座建筑是用砖石拱券结构建造而成，是我国现存规模最大的砖砌拱券结构殿宇，如今已是全国重点文物保护单位。它完全改变了我国古建筑梁柱结合的建筑方式，将我国古代建筑者的高超技艺体现的淋漓尽致。
灵谷塔，在灵谷寺后方耸立着，这是一座修建于民国时期为纪念阵亡将士而修建的宝塔。整座灵谷塔高60米，是一座9层8面用钢筋水泥修建的宝塔，塔内有螺旋扶梯可上至塔顶，其中扶梯一共有260多级，每层还设置有观景平台。
宝公塔，是南朝梁武帝用来安葬宝志和尚舍利的塔，当时建塔耗资20万银两。后因朱元璋建明孝陵，将塔与寺一起迁往这里，改名叫灵谷塔。塔初建时为5层，可惜原塔早已毁尽。宝志和尚是是梁武帝最敬仰的和尚之一。宝公塔原为七级，砖木结构，明初在今灵谷塔位置，建造烈士公墓时迁移至此，为覆钵体形式，1941年完工。
玄奘法师纪念堂，位于大雄宝殿东跨院的正厅，里面陈放着六面七级飞檐桃角檀香宝塔一座，塔内安放着玄奘法师的部分顶骨。玄奘，通称三藏法师，唐朝高僧，唯识宗的的创始人之一，与鸠摩罗什、真帝并称为中国佛教三大翻译家。据文献记载，玄奘法师圆寂于西安，葬于兴教寺塔，黄巢起义时遭盗而捐残。后来，宋朝天禧寺和尚法政，在陕西终南山紫阁寺得玄奘法师顶骨，迁葬于南京中华门外的大报恩寺，建一座砖塔，埋藏顶骨，名为“三藏塔”。
