元泰定五年(1328)，长兄倪昭奎突然病故。继之，嫡母邵氏和老师王仁辅相继去世，使倪瓒悲伤不已。他原来依靠其长兄享受的特权，随之沦丧殆尽，倪瓒变成了一般的儒户，家庭经济日渐窘困，他怀着忧伤的情绪，自作《述怀》诗中写道“嗟余幼失怙，教养自大兄。励志务为学，守义思居贞。闭户读书史，出门求友生。放笔作词赋，览时多论评。白眼视俗物，清言屈时英。富贵乌足道，所思垂今名。……”详述当时自己痛苦的环境。
元天历三年(1330)到至正十一年(1351)的20年内，是倪瓒绘画创作的成熟期。这时期，倪瓒广泛交际，友人多为和尚、道士或诗人、画家。他作的诗作多半也是和这类人酬唱之作。他的至交张伯雨是有名的道土，倪瓒曾为其精心绘制了《梧竹秀石图》。另一位他所推祟的名画家黄公望亦是当时新道教全真教中名人，道学深邃，比他年长32岁。黄公望曾花10年时间，替倪瓒画《江山胜揽图》卷，长二丈五尺余，是黄氏浅绛山水中的杰作之一，画卷题款为至正戊子(1348)；那时倪瓒48岁。此时，他开始信仰道教(全真教)，养成了孤僻猖介的性格，超脱尘世逃避现实的思想，这种思想也反映到他的画上，作品呈现出苍凉古朴、静穆萧疏的意向。
从元至正十三年(1353)到他去世的20年里，倪瓒漫游太湖四周。他行踪飘泊无定，足迹遍及江阴、宜兴、常州、吴江、湖州、嘉兴、松江一带，以诗画自娱。这时期，也是倪瓒绘画的鼎盛期。他对太湖清幽秀丽的山光水色，细心观察，领会其特点，加以集中、提炼、概括，创造了新的构图形式，新的笔墨技法，因而逐步形成新的艺术风格。作品个性鲜明，笔墨奇峭简拔，近景一脉土坡，傍植树木三五株，茅屋草亭一两座，中间上方空白以示淼淼的湖波、明朗的天宇，远处谈淡的山脉，画面静谧恬淡，境界旷远， 此种格调，前所未有。这一阶段，倪瓒创作了《松林亭子图》(1354)、《渔庄秋霁图》(1355)、《怪石丛篁图》(1360)、《汀树遥岑图》(1363)、《江上秋色图》(1368)、《虞山林壑图》(1371)等许多力作给后来的明清绘画以巨大的影响，成为元四大画家之一。
元至正二十三年(1363)九月十八日，其妻蒋氏病死，倪瓒受到很大的打击。长子早丧，次子不孝，生活越觉孤苦无依，内心烦恼苦闷，无所适从。明初，朱元璋曾召倪瓒进京供职，他坚辞不赴。明洪武五年(1372)五月二十七日作《题彦真屋》诗云： “只傍清水不染尘”，表示不愿做官。他在画上题诗书款只写甲子纪年，不用洪武纪年。
