后周显德二年（公元955年），世宗柴荣将嵩阳寺改为太乙书院，成为儒学活动中心。北宋至道二年（公元996年），太乙书院又改为太室书院，宋太宗御赐“太室书院”匾额。宋景祜二年（公元1035年），在重修太室书院时又赐名嵩阳书院，并设院长掌理院务。宋神宗熙宁、元丰年间（公元1068～1085年），理学的“洛学”创始人程颢、程颐曾在此讲学，北宋名儒司马光、范仲淹、朱熹、韩维、李刚、吕海等也在此讲过学。
明代，政府重视科举制度发展官学，嵩阳书院在遭抵制下经历四次的禁毁。直到明成化年间（公元1465～1487年），嵩阳书院又逐渐恢复了发展。明嘉靖年间（公元1526～1530年），登封知县侯泰在嵩阳书院旧址上重建书院，恢复了嵩阳书院之名，并建造二程子祠。
到清代，康熙十三年（公元1674年），知县叶封在明代嵩阳书院的故基上修建书院，建造堂屋三间，新筑墙壁五十丈将幸存的两株汉封将军柏围入院中，为后来的嵩阳书院基本布局奠定了基础。从清康熙十六年（公元1677年）开始，登封明儒耿介主持嵩阳书院院务，广纳天下名儒，倡导理学。他继承了叶封没有完成的书院建设，先后通过捐田来扩充经费扩建学舍。至清康熙二十八年（公元1689年），嵩阳书院建有三贤祠、道统祠、丽泽堂，辅仁居三间、观善堂三间、博约斋五间、敬义斋五间，叠石溪旁建有川上亭、仁智亭、先师殿，崇儒祠三间，天光云影亭、观澜亭各一座，完成了嵩阳书院的基本雏形规划。清乾隆四年（公元1739年），登封知县施奕簪又将123亩土地纳入了书院，用于对藏书楼、先贤祠、讲堂、道统祠、以及大门等的修缮，并购置一批书籍充入藏书楼。至此，嵩阳书院的建筑规模已基本完善。到清末，政府废除科举制度设立学堂，嵩阳书院终止了书院教学，先后成为嵩阳高等小学堂和中岳中学的教学办公场所。新中国成立后，嵩阳书院经全面整修，曾作为登封师范学校、中共登封县委党校、登封县教师进修学校的校址。
（嵩阳书院鸟瞰图）
嵩阳书院经历过多次增建修补，其总体布局保持清代前的风格，青砖灰瓦的建筑古朴雅致，具有浓厚的地方建筑特色。整个建筑由南向北，依次为大门（山门），先圣殿，讲堂，道统祠和藏书楼，中轴线两侧有配房相连。大门由登封知县叶封于清康熙十三年（公元1677年）主持时重建，是一座三开间卷棚式硬山建筑。檐下原挂有“高山仰止”“曲径通幽”匾额，门额横匾书：“嵩阳书院”四个大字。黑底金字，朴素大方，为宋代大书法家苏东坡的墨宝，现为当代书法家宋书范书。大门两侧前檐柱上的对联为清乾隆皇帝于乾隆十五年（公元1750年）所作。嵩阳书院的仪门为牌坊式建筑，上有“高山仰止”的匾额，出于《诗经·小雅·车辖 》。
道统祠是嵩阳书院比较有特色的建筑。它面阔三间，棂门槛窗，歇山式滚脊灰筒瓦覆顶，殿内供奉帝尧、夏禹、周公石膏头像，后壁悬挂帝尧、夏禹、周公当年在嵩山地区巡狩、治水、测影等活动情况的大型图案。柱联 “海纳百川，有容乃大；壁立千仞，无欲则刚。”为清末政治家林则徐所作。在古代，儒家倡导有道统就有治统，因为“治统得道统而盛，道统赖治统而光。” 祭祀道统三圣人是嵩阳书院的传统，而且在中国古代书院中，也唯有嵩阳书院保存着这种祭祀形式。
