这来自全国各地的五色土象征着普天之下莫非王土，代表着海内的一统。
传统文化认为“金木水火土”五种物质是组成世界万物的基本要素，“五”代表着全部和整体。
祭坛中央这个上锐下方的石柱被称为社主石，也叫江山石，象征江山永固。
四周矮围墙也同样按照方向覆盖四色琉璃，围墙四面又各辟一座汉白玉的棂星门。
祭坛的北面是拜殿，最早的社稷坛是没有拜殿的，明洪武元年（1368年），朱元璋去社稷坛祭祀，不想天降大雨，在雨中祭拜的朱元璋狠是狼狈，事后他训斥中书省的官员，要在社稷坛上盖一座房子，大臣们面面相觑，社稷坛两千年来都是露天祭祀的，哪有在上面盖房子的，大家正不知如何说服皇帝，这时翰林学士陶安站了出来，他引用《礼记》说道：“天子大社，必受霜露风雨，以达天地之气也，是故丧国之社屋之，不受天阳也“
就是说江山社稷只有经历风雨才能守住。
朱元璋听此也只好放弃了在社稷坛上盖房子的想法。
后来大臣们建议在祭坛的北面建一座拜殿，遇到天气不好时皇帝就在拜殿里远远地祭拜。
皇陵里的拜殿都是建在陵寝的南边，祭祀时都是面朝北面。那么社稷坛的拜殿为什么建在北面呢？
古人认为天属阳，地属阴，祭祀属阳的要面朝北祭拜，祭祀属阴的要面朝南祭拜，社神和稷神象征土地和粮食是属阴的，所以这个拜殿就建在祭坛的北面。
在祭祀日皇帝会在日出前一个小时赶往社稷坛，祭祀的过程要经历迎神，上祭品，奏乐，献舞，跪拜，献爵，送神等十多道程序，相当繁琐。
1911年秋天，举行了最后一次祭社稷的仪式后，这里也再没有了庄严肃穆的祭祀典礼。
1925年，孙中山去世，遗体停放在拜殿举行公祭，后来就把拜殿改名为中山堂。
