严嵩，江西分宜人，自嘉靖二十一年（1542年）进入内阁之后，长期把持朝政。他对上谄媚皇帝，对下贪污受贿，儿子严世蕃更是嚣张跋扈、卖官鬻爵，在朝廷上大肆招揽党羽，暗中结成“严党”，横行不法，只手遮天。
吴时来首先翦其羽翼，弹劾严党骨干兵部尚书许论、宣大总督杨顺等人贪污受贿、克扣军饷，皇帝查实后将许论等人革职。
但是，严嵩执政以来，为铲除异己，残酷打击报复反对他的官员，刑部员外郎杨继盛、锦衣卫经历沈炼、甚至连前内阁首辅夏言都被其*害，一时间朝廷上下万马齐喑、噤若寒蝉，敢与其作对者寥寥无几。
吴时来深知自己可能面临的结局，但大义所在，义无反顾。嘉靖三十七年（1558年）三月的一天，他和好友董传策、张翀三人，向严嵩一党发动了弹劾。在奏折中，吴时来列出了严嵩“朋奸罔上、剥民膏以营私利、虚官帑以充权门”等罪状，皇帝看后却不置可否，态度暧昧。
擅长权谋的严嵩最了解嘉靖，皇帝忌讳的并不是官员贪污，而是臣子们公开结党。他指责三人同日发动弹劾，又跟内阁次辅徐阶有着各种师生、同乡的关系，其行为必是徐阶指使，目的是为了挑拨君臣关系，结党架空皇帝。
贪恋权力的嘉靖帝被触及逆鳞，勃然大怒，将三人打入诏狱严刑拷打，要求问出幕后主谋。吴时来被打得七窍流血、体无完肤，却一口咬定：“孔子教人，臣事君要尽忠，此是主使”。
最后三人都被发配到边远地区充军，吴时来被贬至广西横州驯象卫，董传策贬至南宁，张翀贬至贵州都匀，他们被称为“戊午三子”。
横州，是明代广西的军事重镇，因横槎江穿城而过而得名，宋代大词人秦观曾被贬谪至此，并写下了《醉乡春》等诗词，留下海棠桥、怀古亭等风景名胜。但即便有这样一段雅事，横州在当时依然被视为蛮烟瘴雾的不毛之地。驯象卫是当时全国独一无二的驯象卫所，驯养大象，有两万多人，是明朝最大的卫所之一。
（广西南宁 横州市）
由清贵的言官被贬为无职无品的小兵卒，吴时来经历了巨大落差，但他却没有意志消沉，而是充满着绝不放弃理想的豁达，以《初到横州》一诗来抒发情怀：
初到横州（节选）
濯足横江水，为家又此城。
行藏随所寓，淹滞岂无成。
吴时来随遇而安，鼓励自己要在此做一番成就，横州驯象卫指挥使范儒久仰吴时来的大名，邀请他作为官兵们的文学教官。
前来求教的人多了，狭窄的寓所不堪容纳，吴时来发现城西乌石岭四面开阔、景色甚佳，就在这里建了个书斋。在《寻乌石岭》中这样写道：
《寻乌石岭》（节选）
林端见远山，四面团青幛。
借此结吾庐，愿言养浩气。
这书斋以吴时来的号“悟斋”来命名，他希望能在此悟道，把贬谪看作磨炼，修身进德、培养浩然正气。
当时的横州地处偏僻、文风不盛，吴时来把敷文兴学、教化百姓视为己任，他找到指挥使范儒、横州知州高仕楠，希望能够在乌石岭兴建一所书院，让更多的学子可以接受教育。
