然而，接二连三的灾荒，使朱元璋的家庭遭受沉重的打击，短短几年内，三嫂刘氏病故，二哥的独生子来旺儿夭折，大姐大姐夫王七一全家死绝。
至正四年，公元1344年，先是旱灾，接着是蝗虫，最后又闹起了瘟疫，给本来就难以为继的朱家，带来了灭顶之灾。先是朱元璋六十四岁的父亲染上了瘟疫，在四月初六去世，接着大哥朱重四又染上了瘟疫在初九死去，他的大儿子圣保也夭折了，到了二十二日，朱元璋59岁的母亲陈氏也染病身亡。
朱元璋和二哥安葬了父母大哥后，大嫂带着小儿子驴儿和女儿回了娘家，而此时同在钟离县的伯父朱五一全家十四口，除小儿媳田氏外，也都已全部死去。又过了几个月，朱元璋和二哥兄弟二人实在过不下去，于是二哥决定外出逃荒，朱元璋因年龄小出家当了和尚，兄弟二人就此分道扬镳，从此再无相见。
朱元璋在家乡附近的皇觉寺做了小行童，每天要扫地、上香、打钟击鼓、烧饭洗衣，有时仍会受到老和尚的斥责。但不久，当地出现饥荒，寺里也得不到施舍，主持打发和尚们云游化缘，年仅17岁的朱元璋才做五十天行童，也只好离开寺院托钵流浪。
朱元璋风餐露宿四处云游了三年后，又回到了皇觉寺，当时社会矛盾已激化，烽烟四起。朱元璋25岁时，在少时玩伴汤和的邀请下参加郭子兴的红巾军，很快朱元璋就脱颖而出。朱元璋稳定后，曾派人四处寻访亲友，得知二哥已死去，二姐和三哥也都已去世。至正十四年十月，得知朱元璋在滁州，大嫂带着侄儿驴儿和侄女投靠了朱元璋，同年十二月，二姐夫李贞也带着儿子保儿投靠朱元璋。
驴儿即是朱文正，后任全军最高衙门“大都督府”的大都督，在洪都保卫战中坐镇孤城，抵御住了陈友谅六十万大军的进攻。因对朱元璋的封赏不满，欲投靠张士诚，被朱元璋软禁后郁郁而终。不过，他的儿子朱守谦，在洪武三年被封为靖江王就藩桂林，是唯一非朱元璋儿子的明朝藩王。
保儿即是李文忠，他是朱元璋的外甥，他从十九岁就开始领兵作战，战功赫赫，在明朝开国功臣中位列第三，获封曹国公，死后追封岐阳王，配享太庙，儿子李景隆继承曹国公爵位。
明朝建国后，二姐夫李贞尚在人世，朱元璋封其为恩亲侯、驸马都尉，后来又因保儿的战功，而晋封曹国公，不过是虚衔。同时朱元璋追封自己的大哥为南昌王，二哥为盱眙王，三哥为临淮王，大姐为太原长公主，二姐为曹国长公主。
