据《留青日札》记载，当朱元璋打下江浙后，沈万三与其弟万四(沈贵)在两浙豪富中首先输粮万担，献白金五千两，以佐用度，“太祖军食，多取资焉”。但是贪得无厌的朱元璋却要“务罄其所有金”，想方设法来消耗他的家财。据董谷《碧里杂存·沈万三秀》记，有一次，朱元璋在月朔(即初一)日召见他，给他一文钱要他生利，从初二开始，一文取两文，初三日取四文，初四日取八文，每天翻一倍，亦即按等比级数增长，以一月为期。沈万三不知就里，欣然接受。哪知回家一算，一月之后，该付给朱元璋利息为五亿三千六百八十七万九百十二文。按，洪武钱每一百六十文重一斤，则共计三千三百五十五万四千四百三十二斤。沈氏虽富，但哪里经得起这样的盘剥？
除了巧取，还有豪夺。有一次，朱元璋召见沈万三，要他每年“献白金千铤，黄金百斤”，还命他造六百五十间廊房，养数十“披甲马军”，并对他的田产每亩征九斗十三升的重税。沈万三大概也明白树大招风的道理，所以想主动报效以保平安。明洪武六年(1373)前后，当他得知京城(今南京)要筑城墙时，就主动承担了修筑洪武门至水西门城墙的任务。当时的南京城墙全长三万七千一百四十米，合七十四华里多，朱元璋的筑城计划，仅造砖一项，便涉及一部(工部)、三卫(驻军，相当于军区)、五省、二十八府、一百一十八县，另有三个镇。而沈万三一人负责的城墙，占整个工程量的三分之一，他以一家之力，是怎样如期完成的？没有人知道。
今南京水西门外，有座赛虹桥，相传为沈万三儿媳所建。明人记载，沈万三建造数桥之后，很是得意，便在家中炫耀。谁知儿媳很不以为然，便用私房钱悄悄建了一座桥。该桥“工巧宏丽”，比公公所造之桥有过之而无不及，人们把它叫做“赛公桥”——儿媳尚且如此，可见沈家确实实力不凡。沈万三处于事业巅峰时，他的弟弟沈贵(万四)已看到危机，曾写诗劝他说：“锦衣玉食非为福，檀板金樽亦可休。何事百年长久计，瓦罐载酒木绵花。”要他低调做人，从事耕织，但沈万三没有听从他弟弟的话，终于招来了灭顶之灾。
沈氏家族的没落是个渐进的过程。第一次打击大约在洪武三年(1370)至六年(1373)。朱元璋统一天下后，沈家的日子自然不好过。即便是沈万三已经不在人世，沈家也没人充军云南，但经过这番折腾，沈家的财富也蚀减过半了。再加上朱元璋建立明朝之初，对江南富民采取了严苛的政策，多次强制迁徙，并课以重赋，从此之后，沈家也就一蹶不振了。
第二次打击是在明洪武十九年(1386)的春天，沈万三的两个孙子(沈旺之子)沈至、沈庄先后入狱。《故沈伯熙(庄)墓志铭》记：“洪武十九年春，兄至以户役故，缧绁赴秋官，时伯熙亦获戾京师，适与兄同系狱，入则抱其兄痛泣曰：‘吾兄素羸，不堪事，今乃至于斯耶！’既而伯熙先出，遂得疾甚，药莫疗……卒于京。”沈至入狱的原因是逃避赋役，沈庄入狱则可能是涉嫌“胡党”、逃避赋役而羁押至京，其事不小，连补带罚，再加上两兄弟最终都能出狱的上下打点，其数目也定在巨万以上。大约在同年，沈万三的女婿陆仲和却在劫难逃，被扣上“胡党”的罪名满门抄斩。
第三次打击是在明洪武三十一年(1398)。洪武二十六年(1393)，“蓝党”案发，蓝玉被处死，株连则在全国蔓延。有一位叫王行的先生，曾两次在沈家坐馆，同沈家至少有三十年的交情，又两次在蓝玉家坐馆，前后也有十多年之久。通过王行的关系，想在新朝找到靠山的沈家同蓝家也有了交往。“蓝党”案发后，有人劝王行逃遁，这位迂腐先生说：“临难无苟免。”结果以同谋罪被诛。
当时，沈万三女婿顾学文因夺人之妇，仇家怀恨在心，蓝玉事发后，仇家即以沈家同蓝家的关系为据，诬告顾学文与蓝玉通谋。在严刑逼供下，顾学文招认曾收到蓝玉“钞一万五千贯”，为他购置粮米、绸缎等物，用来准备起事和赏人。《弘治吴江志》载：案情牵涉他的“妻族沈旺、沈德全、沈昌年、沈文规、沈文矩、沈文衡、沈文学、沈文载、沈海，凡八人。”其中沈旺是沈万三的儿子，其他人等也都是沈万三的子孙。《周庄镇志卷六·杂记》记：“洪武三十一年二月学文坐胡蓝党祸，连万三曾孙(沈)德全六人，并顾氏一门同日凌迟。”同日被杀的还有八十多人。