在《明史》中记载，大富豪沈万三因为拍朱元璋马屁，没拍好而遭朱元璋斥责和处罚。朱元璋当时要修建南京城，沈万三则“助筑都城三分之一”，即承担了现今南京城墙的中华门到水西门一段的修建任务。后来沈万三想趁热打铁，更进一步讨好朱元璋，便请求出资犒赏三军，这一下拍到了皇帝的马脚上。朱元璋大怒曰：“匹夫犒天下之军，乱民也，宜诛之。”幸好马皇后觉得因此杀人有些过分，便劝道：“不祥之民，天将灭之。陛下何诛焉！”沈万三才保住小命，被发配云南，最后客死他乡。这是洪武六年的事。
当家人沈万三被发配云南了，家产也损失大半，可家中还有很多其他亲属。日子过得仍然比普通人家强很多，但更大的灾祸却一步步向沈家袭来。
沈万三有一个女婿叫顾学文，这个人人品很差，据说正是他的拈花惹草给沈家带来了灭顶的之灾。在清嘉庆年间的《同里志》中，有这样一段详细的记载，讲述了顾学文惹祸的经过：在洪武后期的同里镇，有一个姓陈的人，生了一个弱智的儿子。儿子智力虽差，但其家境却不差，于是这个陈先生给弱智的儿子花钱娶了一个知书善吟的美貌女子梁氏做老婆。
顾学文后来听说有个弱智娶了美妻后，心里很好奇，便想见识一下这位梁氏美女。于是，他常常找借口雇船往来于周庄和同里之间，并故意停泊在梁氏居室的窗下，期待西门庆那样的艳遇。一来二去，顾学文果然得到了几次与梁氏照面的机会，二人眉来眼去之间，似乎互有倾慕之意。后来，顾学文觉得时机比较成熟了，便花钱雇当地的泼皮勾引梁氏的弱智丈夫饮酒赌博。同时，他求得梁氏的一个邻居老太太，帮他捎给梁氏一些新奇的首饰，并寄上挑逗的言语。梁氏本对顾学文也早有好感，于是二人一拍即合。
他们之间的事，开始比较隐蔽，少人知晓，弱智丈夫更是浑然不知，他的父亲陈先生因在外地当差也不知道，可“纸里终究包不住火”。陈氏父子虽然不知道，但陈先生一个绰号陈缩头的兄长，也就事弱智儿子的伯父，却隐约听到了风声。他怕这事影响陈家的声誉，便在暗中调查，他买通了梁氏身边的仆人，获得了一封顾学文与梁氏暗通款曲的书信作为凭证，寄给了在外地当差陈先生。陈先生收到信后，当然非常生气，但他想仅凭这样一封书信去官府告发，未必能有什么结果，弄不好还会败坏陈家的名声。
正当陈先生烦恼没有好办法时，洪武朝廷上发生了一件大事，就是开平王常遇春的妻弟蓝玉谋反案爆发。这个案件越发展牵涉的范围越大，很多无辜的人都被牵连进去。这给陈先生以启发，何不举报顾学文与蓝玉通谋造反呢？只要引起朝廷过问，任凭你顾学文或者沈万三家有多少钱，也不能免死。后来，事情的发展果然印证了陈先生的想法，不但顾学文被杀，就连他的父亲、兄弟还有老丈人沈万三的儿子沈旺等一大批人，纷纷被杀掉。梁氏也被其父逼迫自杀。据说，这件事从洪武二十六年起到洪武三十一年才平息。
沈万三家族，经此一劫算是彻底败落了。沈万三费心经营所得的无数财富，在政治斗争中被逐渐消磨，最终落得家败人亡的结局。但也有很多人认为，明史中关于沈万三的一些记载是清朝人为了诋毁抹黑明朝的统治者而故意为之，其实，根本不存在沈万三修南京城、犒军被罚等事件，他很可能在朱元璋建立明朝之前就死了，甚至根本就没和朱元璋有过交往，事实究竟如何，还有待后人进一步探究。