沈万三听后，不禁有些飘飘然起来。但他也许没有想过，朱元璋这个真正的天子，会不会容得下自己这个"白衣天子"呢?
沈万三在南京修城墙的时候，其弟沈贵就曾劝道：“锦衣玉石非为福，檀板金樽亦可休；何事百年长久计，瓦罐载酒木棉裘。"
可是沈万三哪里听得进？他愈发膨胀起来，最后居然向朱元璋提出一个要求，由他出钱，犒赏朱元璋的军队！
这一下算是捋了龙须，彻底激怒了朱元璋。
据《明史·孝慈高皇后传》记载：“吴兴富民沈秀者，助筑都城三之一，又请犒军。 帝怒曰：‘匹夫犒天子军，乱民也，宜诛。’后谏曰：‘妾闻法者，诛不法也，非以诛不祥。 民富敌国，民自不祥。 不祥之民，天将灾之，陛下何诛焉! ’乃释秀，戍云南。 ”
据说沈万三被贬云南前，刘伯温曾受马皇后的秘遣，前来探望过沈万三。他带来了马皇后的意思，让沈万三将资产变现一部分，去云贵地区发展，带动当地的经济发展。
刘伯温还送给沈万三一首诗：“江南千条水，云贵万重山；五百年后看，云贵赛江南”，作为自己对沈万三的临别赠言。
于是，沈万三在很短的时间里凑了现银二万多两、金条百余斤，装成十六大箱，在刘伯温派来的卫士的保护下，秘密离开南京，将这十六箱财宝运到了贵州平越，藏在离平越司署衙门不远的藜峨庙后岩洞中。
那些卫士随即在藜峨庙中出家为僧，专门守护这批财宝。
洪武六年秋，沈万三带着四子沈春鸿、五子沈香保等家人，凄凄然地离开了南京。临走时，马皇后、徐达还分别派了沐英和徐辉祖代表自己来为沈万三送行。
当时从南京去云贵地区，一般都是先从南京乘船沿长江溯流而上，经武昌府入洞庭湖，然后由洞庭湖溯沅江而上，到重安江都兰古渡上岸后改行陆路，沿湘黔驿道进入云贵地区。
当时云贵地区还有很多还在元朝的梁王的势力控制范围，并未归顺明朝，所以沈万三不能直接赴云南，而是一直在贵州的安顺、黔西、乌蒙地活动。
