传说五台最早是道家的地盘，《道经》里称五台山为紫府山曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来震旦 （古代印度人称中国为震旦） 时， 居于石盆洞中，而石盆在道家的玄真观内， 这说明当时五台山为道家所踞。
五台山也叫清凉山或紫府山
佛教最初传入我国时，只有少数人奉行。公元前二年， 大月支国（原居我国新疆西部伊犁河流域的少数民族， 西迁中亚后建立的国家）国王的使者伊存来到当时中国的首都长安（即今西安），他口授佛 经给一个名叫景卢的博士弟子，这是中国史书上关于佛教传入中国的最早的记录。
佛教传入五台山，普遍的说法是始于东汉。 史籍记载，永平十年（公元67年）十二月，汉明帝派往 去西域求法的使者同两位印度高僧迦叶摩腾和竺法兰来到洛阳。
汉明帝 刘庄
白马驮经
