方广寺正殿中原悬挂有宋徽宗御笔写的“天下名山”四字金匾。南宋乾道间（1167年）冬天，南宋著名理学家朱嘉与张栻结伴游南岳，他们踏雪游南岳，第一夜就宿在方广寺，二人诗兴大发，互为唱和，作诗149首，其中三分之一是在方广寺写就。明代，尹台建二贤祠于方广寺寺侧，以纪念朱、张这次胜游，祠中供有朱、张神像，永享儒家的香火。
我最早来时方广寺旁早没了二贤祠，如今也得到了重修。
衡阳的文化名片-船山文化的开创者王船山在明崇祯十六年(公元一六三四年)与兄弟及夏汝弼等人筹款重修过方广寺及二贤祠，清顺治5年（1648）10月，王夫之在莲花峰下组织抗清义师，也曾在方广寺内聚会，方广寺也因此招来战火毁于一旦，其时“门庑不设，僧葺茅舍以居”。
