《儒林外史》中三十回开始陆续介绍一些贤人出场：杜少卿，庄征君，虞博士等。在三十七回南京泰伯祠大祭这些贤人全部出场，达到一个高潮。
在四十六回“三山门贤人饯别”写虞博士要离开南京，少卿要追随起开始贤人流散。到五十五回，贤人们已经消磨殆尽，虞博士那辈人老的老，死的死，都四散不在了。
作者叙述着贤人之后，写道：不过得手就是有才能，失意的就是愚拙，任你有才华也没人问你。每逢各种宴席上讲得不过是权钱二字。文字悲凉沉痛，但笔调一转又描述了四位市井奇人，寄托着希望。
四位奇人出自市井，第一位是擅长写毛笔字的季遐年，他行为怪癖，每次写字前需要好几个人给他按纸，按得不好他就用笔凿人的头。有人请他写字，他全凭心情，得了银子只吃一顿，剩下的随手送人。平日住在寺庙里，拿个破盏子随着众和尚一起吃饭。有老爷让小厮叫他上门写字，他走上门去大嚷大叫，把乡绅老爷骂得闭口无言，依旧回到寺庙去。
第二位奇人是王太，从小喜欢下围棋。他家原本几代卖菜，到他父亲手里穷了，菜园也卖了，他平日以卖火纸筒子为生。
初夏，乌龙潭荷花开放，许多游人来玩耍，在柳阴下几个穿着光鲜的大老官簇拥着两个人在下棋，夸赞其中一位下棋的马先生是国手，前几日在扬州下棋前后赢了二千多两银子。
王太也挤上上去看，众人看他穿得破烂，不让他上前。他撑着看了一会嘻嘻地笑。姓马的问他：你这人笑，难道下得过我们？围着的大老官也纷纷讥笑他是何等之人，如何也敢插嘴！
王太上前去跟姓马的人下棋，下了几步，姓马的觉得他出手不同，下了一半，站起来说输了。外面围着的众人大惊，要拉着王太去吃酒，王太哈哈大笑：我*过屎棋心里快活，哪里还吃得下酒！头也不回走了。
第三位奇人是盖宽，他的生活类似杜少卿，本来家里很富有，他喜欢诗画且爱才如命，别人跟他借钱，从不推辞，渐渐把钱用光了，卖田卖房得来的银子渐渐也用完。
后来日食艰难，盖宽带着儿女开了一个茶馆，依旧坐在柜台里看诗画画，每日卖的五六十壶茶只能赚五六十个钱，连柴米都艰难。邻居老爹问他何不到从前亲戚朋友家借个大本钱做大生意过日子？
盖宽说：老爹，当初我有钱，出入体面和有钱的亲戚还搭配得上，如今我穷了上门去，他们不嫌弃，我也觉得可厌。从前受我恩惠的都是穷人，如今他们又到有钱的地方去了，我找他们，白惹气，有何意思？
邻居老爹看茶馆生意冷淡，约盖宽出去走走。一起去看雨花台的泰伯祠，老爹已经七十多岁，回忆起当年泰伯祠造完，请了虞老爷来上祭。那时他才二十多岁，挤着看热闹，把帽子都挤掉了。
如今泰伯祠没人修理，屋脊已倒掉半边，一扇大门也倒地上，五六个孩子在那里踢球，几个老妇人在挑荠菜，一片破败荒凉。盖宽和邻居老爹谈论往事伤感，慢慢回去了。
第四位奇人是做裁缝的荆元，他每天干完活，剩下的时间就弹琴作诗。别人问他：既要做雅人为什么还做裁缝，何不同学校里秀才相交？
荆元道：我喜欢弹琴作诗只因性情相近，裁缝这个行当是祖宗留下来的，难道玷污了这雅事？况且学校里的朋友他们另有见识，怎肯与我相交？我每天赚几分银子吃饱饭，弹琴写字都由我，又不贪富贵，不看人脸色，难道不快活吗？
过了些日子生意不忙，荆元到城西去看一位老者。这老者也不读书也不做生意，有个二三百亩地的大园子，率领着他五个儿子灌园。灌了园，老者就到茅屋里生火煨茶，看这园子里的新绿。
老者请荆元喝茶聊天，荆元称赞老爹住在这城市山林所在，真是神仙般的日子。第二天荆元带琴来，在老者的园子里弹琴，老者焚香静听，听到那琴变作凄清婉转，老者听到深微之处不觉泪下。
《儒林外史》时间跨度长达百年，但是百年恍如一日。全书到这里结束了，像一首曲子最后结束了，还飘荡在我们的心里。功名富贵无凭据，作者把理想寄寓在奇人身上，他们有才能，也有养活自己的本领，不用贪图富贵，也不用看人脸色，过该过的日子。
