相传，春秋时期，楚国琴师俞伯牙在此鼓琴抒怀，山上的樵夫钟子期能识其音律，知其志在高山流水，二人就此成为彼此的知己，并相约一年后于此重见。
然而，当伯牙依约回来时，却得知子期已经病故，伯牙悲痛不已，从此不复鼓琴，史称“伯牙绝弦”。后人被他们的真挚感情所打动，便筑台以纪念。
古琴台又名俞伯牙台，始建于北宋，重建于清嘉庆初年，坐落于龟山西脚下的月湖之滨，东对龟山、北临月湖，构成一个广阔深远的艺术境界，有“天下知音第一台”之美誉。
虽说古琴台的规模并不大，但林木苍幽，内有殿堂、庭院、林园、花坛、茶室等建筑，整体布局精巧、层次分明。
