贫困的日子一天天地挨，他儿子在泸西县做小生意，要接他去共住，他坚辞不去；他的好友苗漪任昆明育才书院山长，请他去共聚，他婉言谢绝；最后是他嫁在弥勒的女儿一家将他接去，他先还不想去，无奈他的老夫人随他难以糊口，只得从女度日。最后他也只好去了弥勒。
于是，他便在弥勒县重新设帐教书，数年后在弥勒辞世，墓前一碑书“布衣孙髯翁之墓”，友人撰一联云：“城西荒冢留傲骨，滇南名士一布衣。”
孙髯翁一生特立独行，鹤立鸡群，著作颇丰，但留下的文集却不多，作为一个视功名利禄为粪土的人，对自己的作品不是很上心也很自然，但据说是他去世后，老伴在清理他遗物时，唯见一堆的断卷残篇，一气之下，将手稿全部火化，只是不知是真是假。
“山中若有王侯地，难得拣来葬髯翁”，当年的孙髯翁是草草下葬，但云南人民是记得他大名的，后来的弥勒知州将他的墓地重新修缮，民国年间也稍有整饬，但可惜的是，毁于“大跃进”那个火红的年代。
直至上世纪八十年代才得以重新修复。并将墓联改为孙髯翁生前为自己所书的挽联：
这回来得忙，名心利心，毕竟糊涂到底；
此番去甚好，诗债酒债，何曾亏负着谁!
岳阳楼因范仲淹的《岳阳楼记》闻名，黄鹤楼仗崔灏的《黄鹤楼》诗声振，滕王阁仰王勃的《滕王阁序》显赫，而大观楼，正是以孙髯翁的这一天下第一长联为世人所知。
一幅湖山来眼底，昆明布衣，傲视苍穹，好联受万众钦羡；万家忧乐到心头，滇西狂士，美哉髯翁，天下有几人识得？
但是，只要有这大观楼上的长联，他的名字便光耀千古，凭栏远眺，思古悠情，眼前奔来的岂是五百里滇池；心头涌上的，又何如数千年往事，那是髯翁百感交集的人生况味；正如前人在一首诗中有赞：“铁板铜琶鞑鞺声，髯翁才气剧纵横；楼头一百八十字，黄鹤留题万古名。”
掌上千秋史，胸中百万兵，有趣的是，自孙髯翁的长联之后，不服之人及效仿之人多多，在这众多的楹联之中，倒也不乏佳作，比如下面这写于华严阁的楹联，世称净乐长联，亦是对仗工整，平仄精当，虽不能同髯翁一较高下，但其中满满的禅意和肃穆之情，倒也别是一番光景，权录于下，以作此文结尾。
叠阁凌虚，彩云南观，皇图列千峰拱首，万派朝宗，金碧联辉，山河壮丽。视晴岚掩翠，晓雾含烟，升曙色于丹崖，苍松鹤泪；挂斜阳于青嶂，石厂猿啼，暂息烦襟，凝神雅旷，豁尔讴歌叶韵，风月宜人，性静幽闲，互相唱和；得意时指点此间真面目；
层楼映水，佛日西悬，帝德容六诏皈心，百蛮顺化，昆华聚秀，宇宙清夷。听梵呗高吟，法音朗诵，笑拈花于鹫岭，理契衣传；侪立雪于少林，道微钵受。久修净行，释念圆融，历然主伴交泰，凡圣泯迹，心源妙湛，回脱根尘，忘机处发挥这段大光明。
,
