明 沈周 《仿黄公望富春山居图》 北京故宫博物院藏
多年以后，《富春山居图》成为明代书画家董其昌的收藏，但董晚年时又将其卖给了吴洪裕的爷爷吴正志。清顺治年间，吴洪裕继承了《富春山居图》，而吴洪裕晚年病危之时，想效仿唐太宗把画带到来生去，就在画即将付之一炬的危急时刻，吴洪裕的侄子吴静庵将投入火中的画救了出来，并以偷梁换柱的方法用另外一幅画换成了《富春山居图》。
但救下画作已被烧出连珠洞，断为一大一小两段，至此稀世画作《富春山居图》一分为二。1652年，吴家子弟吴寄谷得到此图后，将小段烧焦部分揭下，重新细心装裱后，居然正好有一山一水一丘一壑之景，而且几乎看不出经剪裁过的痕迹。从此，大段部分被称为《富春山居图·无用师卷》，小段的部分人们称之为《剩山图》。
《剩山图卷》纵32厘米，横51.5厘米
1745年，一幅《富春山居图》被征入宫，乾隆皇帝见到后爱不释手，把它珍藏在身边，不时取出来欣赏，并且在6米长卷的留白处赋诗题词，加盖玉玺。
第二年，乾隆十一年的冬天，《富春山居》无用师卷来到了弘历面前。他一边坚定地宣布无用师卷是赝品，一边又以不菲的价格将这幅所谓的赝品买下。理由是，这幅画虽不是真迹，但画得还不错。
为此他还特意请大臣来，在两卷《富春山居图》上题跋留念。来观画的大臣无一例外地歌颂了皇帝热爱艺术、不拘泥真伪的广阔胸怀，可谁也不敢点破：这幅画它本来就是真迹。
《无用师卷》纵33厘米，横637厘米
时代变迁，几经辗转，《富春山居图》无用师卷真迹在清宫里静静安放了187年。直到1933年，日军攻占了山海关。故宫博物院决定将馆藏精品转移，以避战火浩劫。自此之后的15年中，《富春山居图》与近百万件故宫文物一起，历尽艰辛坎坷，行程数万公里，由北京经南京辗转运抵四川、贵州，至抗战结束后，陆续运回南京。又于1948年底，被运至台湾。
而那曾被火烧坏的前半截《富春山居图》，尚存尺五六寸，“山水一丘一壑之景，全不似裁切者”，清初由吴其贞持有，命名为《剩山图》。后流入辽阳人王廷宾手中，收入他的《三朝宝绘图》。
有一位程正揆曾经天真地求当时持有《富春山居图》的季寓庸“为破镜之合”，当然被拒绝了。然而自此之后，《剩山图》始终“绝迹江湖”。
直到20世纪30年代，王廷宾的《三朝宝绘图》流入江阴一户陈姓人家，为上海汲古阁的曹友卿得到，拆开分售，找到的买家是吴湖帆。吴湖帆是用了家藏的古铜器商彝才换来了这幅残卷。他找到了这户陈姓人家，捡回了被当作废纸的王廷宾的题跋，又与沈尹默一同去比对了“无用师卷”，这才确定此乃真迹。
因此兴奋地在1944年的《古今》杂志上发表《富春山居图烬余本》一文，大捧“无用师卷”是“痴翁生平第一杰作，抑亦古今艺林神品之冠冕”，而他自己的梅景书屋也有了“大痴富春山图一角人家”这么个新名字。20世纪50年代，经沙孟海牵线，以5000元巨款卖给浙江博物馆。
