现在横州汽车站附近的这一片小坡，就是吴时来所建的“悟斋书院”（又名乌石书院）当年所在地。五百多年的沧桑巨变，繁盛的书院早已不复存在，但吴时来创建书院的精神犹存。
吴时来在横州兴建书院、培育人才，使民风吏治为之一新，但朝廷里的当权者已经把他抛弃了。嘉靖四十一年（1562年），吴时来被贬横州已经四年，奸相严嵩终于倒台，朝廷上下焕然一新。然而新上任的首辅、吴时来的老师徐阶却唯恐皇帝怀疑他结党，不敢召还几位高徒，吴时来只能继续在横州与大象、贩夫走卒为伍。
在贬谪期间，家乡一度谣传吴时来已经死在横州，他的父亲和岳父结伴到横州来看望他，不料却先后染疫身亡。孤身漂泊于烟瘴之地的吴时来遭受了心灵上的沉重打击，所幸在孤寂清苦之中，还有志同道合的友情聊以慰藉。吴时来与因同样弹劾严嵩而被贬到南宁的好友董传策多次把臂同游，共赏海棠桥、青秀山、敷文书院等名胜古迹，诗文唱和、以明其志，成就了一段肝胆相照的文坛佳话。
（南宁市青秀山风景区）
董传策喜欢青秀山，自号“青山之主”，写了32首关于青秀山的诗歌，受他的影响，吴时来也多次来青秀山游玩，写了四首游览青秀山的诗歌。他们的诗歌反映了两人面对苦难豁达开朗的心态。
（图 董传策和吴时来游青秀山诗歌节选）
海棠花开花落，岁月匆匆而过，吴时来在横州已过十年。公元1567年，嘉靖帝驾崩，继位的隆庆帝急召吴时来回京担任工科给事中。十年沉寂没有消磨掉吴时来的锋芒，他上任后就弹劾佥都御史刘秉仁与太监勾结，朝野震惊。但腐败的朝廷容不下这样的直臣，第二年吴时来就因得罪内阁次辅高拱，再一次被贬官去职，回到家乡隐居。
据《仙居县志》记载，吴时来回归故里时，“居无完屋，督耕瘠田数十亩”，清贫如洗却不堕其志，这一次被贬，竟长达十六年之久。
万历十二年（1584年），吴时来被万历帝召回北京委以重任，三年后又官拜左都御史，成为大明最高监察机构——都察院的负责人，他青年时“欲摘彗星清紫薇”的志向终于可以施展。
