据说，“败家石”的来历源于明朝时期的一位名叫沈万三的财主，他喜欢收藏名貴石头。有一次，他看中了一块非常漂亮的石头，花了大量的钱买回家中。
但是，他的儿子沉迷赌博，败家无度。为了惩罚儿子，他把这块花了大价钱购买的石头放在了家门口，告诉儿子只有在他管好自己的钱，节俭用度之后，才能够把这块石头带进家门。
后来，这块石头就流传开来，被称为“败家石”。它寓意着“钱不能乱花，必须节约才能得到珍贵的宝物”。成为一个教育子女，规范家风的象征。
相传这块巨石原本隐藏在北京方山县的深山之中，到了明朝后期，宋代著名书法家米芾的后裔，陕西安化人米万钟爱石成癖，自称“石隐”，被人称之为“友石先生”。
他是一个多才多艺的人，而且又是进士出身，在诗、书、绘画等方面剖有造诣，在书法上与董其昌齐名。万钟爱对奇石十分热爱，几乎是到了痴迷的地步，他在一生中不辞辛劳，爬山涉水寻找奇石，由此收藏了大量的奇石，并对每一块石头加以研究，画貌题赞。
一次，米万钟来到北京大房山，在深山之中见到了一块突兀凌空、嶙峋瘦透、姿态不凡的巨石，米万钟见到这块石头，越看越喜欢，于是他花费重金，聘请了上百名民工，44匹骡马才运下山来。又花了五天的时间，才将巨石被运到良乡。很多文人墨客和朝中大臣听说后都慕名前来观赏，大家都赞不绝口，认为这块巨大的石头，能与宋朝年间的名石相媲美。
不料这一消息传到了魏忠贤等人的耳朵里，正当米万钟运到他的勺园进行装点的时候，魏忠贤的手下倪文焕抓住这一机会，罗织罪名诬陷米万钟，米万钟也因此被削职夺籍，直到崇祯元年他才被重新启用。这块巨石也因此被搁置在良乡，而米万钟也担心说出去会惹来灾祸，于是他谎称财力耗尽，自己也无可奈何，所以不得不将它丢弃在路边。
自此以后，人们就越传越神奇，都说“石来运转”，米万钟却因为这块巨石家财耗尽，于是当地的居民都认为这块巨石不好，于是就将它称之为“败家石”。
