元朝时，年过五旬的全真教道士黄公望就隐居在富春江畔。据传，一天，好友无用道士前来探望，两人相约在江边畅饮。兴之所至，黄公望铺开笔墨，点点勾勾数笔，沿江风景已跃然纸上，片刻之后就形成了一幅宽一尺、长三丈有余的长卷。站在一旁观看的无用道士连连惊喜叫绝，请求黄公望在此画完成之后赠予自己，一向大方洒脱的黄公望欣然应允。这是在1350年，无用道士就成为《富春山居图》的第一位收藏者。
　　明成化年间，《富春山居图》被明代书画四大家之首的沈周得到。他拿这幅画去重裱。结果那个裱画店竟骗他说画丢了。沈周万分痛惜，但他为人宽厚，只好打掉牙和血吞，吃哑巴亏。但天才自有天才之處，为了暂慰丢画之苦，沈周竟根据自己惊人的记忆力将三丈长卷从头至尾地背临了一本，这就是著名的沈周的《仿黄公望富春山居图》。
　　后来沈周把《仿黄公望富春山居图》送给了一位叫樊舜举的朋友。这樊舜举任苏州节推，相当于苏州的法院院长。有一天，他请沈周到府上，说是得了一幅好画，共鉴赏之。沈周到了一看，差点昏倒，赫然就是他被骗走的《富春山居图》，和他的《仿黄公望富春山居图》放在一起，樊节推大概是要给他一个惊喜，没想到勾起了伤心事。后来《富春山居图》就转到了无锡收藏家谈志伊手中， 1596年，又转到了董其昌手中。董其昌对《富春山居图》爱不释手，即使是出门在外也经常带在身边，以便随时欣赏展玩。有一年秋天，董其昌在惠山又神奇地买到了沈周的《仿黄公望富春山居图》，他成为历史上同时拥有真仿《富春山居图》的第二位主人。董其昌在晚年以高价将《富春山居图》卖给了他的宜兴朋友吴之矩。吴之矩去世后，将这幅画留给了他的三儿子吴洪裕。
　　据说吴洪裕极为喜爱此画，每天不思茶饭地观赏临摹，到了朝夕不离的地步。清顺治七年，卧病在床的吴洪裕到了弥留之际，气如游丝的他念念不忘《富春山居图》和《千字文》，竟然要以此“火殉”。 第一天先烧了《千字文》，吴洪裕亲自监烧；第二天又烧《富春山居图》，万幸的是，就在画即将付之一炬的危急时刻，从人群里猛地窜出一个人，“疾趋焚所”，抓住火中的画用力一甩，“起红炉而出之”，愣是把画抢救了出来，他就是吴洪裕的侄子，名字叫吴静庵。
　　《富春山居图》虽然被救了出来，却在中间烧出几个连珠洞，使原画断为一大一小两段，从此稀世国宝《富春山居图》一分为二。前段画幅虽小，但比较完整，1652年吴其贞得到后将其命名为《剩山图》；1669年归广陵王廷宾所有。到了1938年，被画家吴湖帆购得收藏，1956年，这部分《富春山居图》终于被浙江省博物馆收藏。后段画幅较长，但损坏严重，修补较多，被后人称为“无用师”卷。后段连题跋长三丈，是《富春山居图》卷的主体，再度在收藏家中转换。最后于1746年流入了清宫，为乾隆所钟爱。“无用师”卷后来在新中国成立前夕被运往台湾，至今仍收藏在台北故宫博物院。2011年6月2日，海峡两岸的两幅《富春山居图》终于在台北成功团聚，向公众进行了展出。