“孔雀屋”装饰细节，这些都出自惠斯勒之手
1899年弗利尔退休后，更是卖掉所有股票，把全部精力和钱财都用在系统收藏亚洲艺术上。他前后来过东亚四次，探访古迹，拜访古董商、学者和藏家。1910年最后一次来中国，他考察了龙门石窟，写成了五万多字的笔记，记录这些历史遗址的艺术价值，还留下了珍贵的影像资料，包括位于开封的宋代佑国寺塔，巩县的北宋陵墓以及龙门宾阳三洞等。
他在笔记中也描绘了自己通过亲近中国艺术而获得的精神体验：“阎立本、李思训、吴道子和李龙眠为世界永恒之美的创造做出了重要贡献。带着期待和愉悦的心情，我该入睡了。我将在这些满是瑰宝的石窟中徜徉数日。这是现实中的活动，但在我的梦境中，这一旅程将永不停息。”
弗利尔一行在龙门石窟的考察
弗利尔留下的龙门石窟珍贵照片
弗利尔于1904年就通过史密森尼学会将捐赠一座美术馆意愿转达给美国政府，但直到1906年，时任美国总统西奥多罗斯福才接受了这份好意。经过了漫长的筹备工作，1916年美术馆终于破土动工，弗利尔又捐资100万美元。然而，1923年，在弗利尔本人逝世后4年，美术馆才建成开放。
刚决定捐赠美术馆时，弗利尔的艺术收藏是2500件，但在他持续不懈的努力下，到美术馆开幕时，有9500多件艺术品从底特律被运至华盛顿。其中有3500多件中国艺术品，1863件日本艺术品，还有五百多件印度和中东艺术品。此外，古埃及艺术和近代美国绘画也构成了当时弗利尔美术馆的重要馆藏。其后美术馆也不断增加馆藏，如今已收藏有四万件藏品。
根据捐赠约定，美术馆的所有藏品不得外借。弗利尔说，否则当学者们来到华盛顿研究某件藏品时发现它不在，该多失望啊。后来，美术馆更规定也不从外租借任何展品，这当然也造成了一些困扰，直到1987年赛克勒画廊建成，开始借出借入展品举办临时展览，才弥补了这个缺憾。
弗利尔有句名言——“元代以后的画不用拿给我看。”这显示了他个人的收藏趣味，也决定了弗利尔美术馆的中国绘画馆藏中大部分都是元以前的佳作。
如今，弗利尔美术馆的中国绘画藏品有1200多件，数量是全美之最，更有周文矩、赵孟頫这些如雷贯耳的名字。藏品中最负盛名的是东晋大画家顾恺之名作《洛神赋图》的南宋临本。《洛神赋图》现存世共有七种，弗利尔的这件是其中惟一的白描本，而且首尾最完整。此外，弗利尔美术馆也以其占全美五分之一的丰富青铜器馆藏闻名，其中有许多商周重器，几乎可以与中国国家博物馆和上海博物馆比肩。
弗利尔馆藏南宋摹本《洛神赋图》局部
