对于这样规规矩矩的幕僚，朱元璋是很满意的，当着朝廷众臣赞誉宋濂：
古之人太上为圣，其次为贤，其次为君子。若宋景濂者，事朕十有九年，而未尝有一言之伪，诮一人之短，宠辱不惊，始终无异。其诚所谓君子乎？匪止君子，抑可谓之贤矣。
可以说宋濂得到了朱元璋莫大的肯定，以至于一家三代均在朝为官颇受重用，“祖孙父子，共官内庭，众以为荣。”宋濂有感皇恩，时常告诫子孙要“诚敬忠勤”：
上德犹天地也，将何以为报？独有诚敬忠勤，略可自效万一耳。
伴君如伴虎，纵然收到极高的恩宠，宋濂自始至终都谨小慎微，曾几番提出要辞职还乡。明洪武十年，宋濂六十八岁，朱元璋答应了他的请求并赐给他了一种名为“绮”的绫罗绸缎，并说：“藏此绮，俟三十二年后作百岁衣也。”言外之意，则是希望宋濂长命百岁，君臣之间，如此说来这是何等的恩宠。
可没有人能料到，就算恩宠如斯，宋濂却还是没能躲过君臣之祸。
退休之后，他愈加谨言慎行，布衣蔬食，如同贫士一般，埋首读书著述，两耳不闻窗外事，有林下之风，后来，王袆在《宋太史传》中对宋濂有描述：
景濂状貌丰厚，美须髯......性疏旷，不喜事检束，宾客不至，则累日不整冠帻。或携友生徜徉梅花间，索笑竟日；或独卧长林下，看晴雪堕松顶，云出没岩扉间，悠然以自乐。
同乡弟子郑楷在《宋公濂行状》亦写道：
先生惟刻意为学，自少至老，未尝一时去书不观。及致政归青萝山，辟一室曰‘静轩’，终日闭户纂述，人不见其面。戒子孙毋至城市……或谈及时事，辄引去不与语。
他自以为俯仰无愧，闭门读书，不问时事，当然是想避开是非，然而儿孙尚身处官场，想远离政治，但政治却并没有放过他。
洪武十三年，宋濂的长孙宋慎牵扯到了胡惟庸案，也就是后世所说的胡党之狱，宋氏一家全部被捕入狱，而后宋慎被*，宋濂也被定为死罪。
受到宋濂多年教育，对师父尊崇备至的太子朱标，得到消息，大惊失色，流着眼泪向父皇求情，甚至以自*相逼，加之马皇后也为之说情，朱元璋虽刚愎自用，却也惧内，迫不得已赦免了宋濂的死罪，将宋濂全家流放到茂州。
虽说为开国前臣，流放之途却未得到丝毫礼待，宋濂作为罪犯在兵丁押解下长途跋涉，不论行路还是坐下歇脚，都不能打开枷锁，对于一个年逾七旬的老臣来说，这是何等的耻辱！
果不其然，不久之后，宋濂便在夔州一命呜呼。
曾被太祖高皇帝推崇为“君子”、“贤者”、“纯臣”的宋濂，最终却“不能获于正寝”，宋濂的逝去让人实在惋惜，当时夔州的官员都前来赠赙哭祭，方孝孺耿耿于怀，难以直言，在祭文中含蓄地说：公之量可以包天下，而天下不能容公之一身：公之识可以鉴一世，而举世不能知公之为人。道可以陶冶造化，而不获于正寝；德可以涵濡万类，而不获盖其后昆。
如今我们思及宋濂，其实也很难理解在开国初便立下赫赫之功的开国元老，何以落到这样的下场。
或许可以从一件小事找到答案，宋濂在退休时，朱元璋送了意味深长的两句诗：“白下开樽话别离，知君此后迹应稀。”
常人看来似乎只是简单的留别之语，可若细细一看，“迹应稀”三字格外耐人寻味，此外，太祖高皇帝还有一声叹息：“今四夷皆知卿名，卿自爱”，这样一看，所谓的留别，所谓的提醒，却还是一句隐晦的警告，太祖的意思其实显而易见，不外乎是让宋濂避开朝堂，不论政事，毕竟，作为伴君二十余年的内阁大臣，宋濂知道的太多了。
宋濂没有多想，隐退还留有余忠，他回应了两句：“臣身愿作衡阳雁，一度秋风一度归。”此后果然每年到南京朝见一次，还经常写信给太子，以师父的身份给予指点。
我想，这或许成为了他晚年罹祸的因素之一，焦竑在《玉堂丛语》中也有类似猜测，他认为宋氏之祸，在于“乃讳迹焉”，隐喻宋濂没有遵守“此后迹应稀”的旨意，招致大祸。
