其祖父为本乡大地主,富甲一方,赀雄乡里。父早丧,弟兄三人,同父异母长兄倪昭奎字文光,是当时道教的上层人物,曾“宣受常州路道录”、“提点杭州路开元宫事”、“赐号元素神应崇道法师,为主持提点”、又“特赐真人号,为玄中文洁真白真人。”二哥(同胞)倪子瑛。在元代,道教的上层人物地位很高,有种种特权,既无劳役租税之苦,又无官场倾轧之累,反而有额外的生财之道。
倪瓒从小得长兄抚养,生活极为舒适,无忧无虑,倪昭奎又为他请来同乡“真人”王仁辅为家庭教师。倪瓒受到这样的家庭影响和教育,养成了他不同寻常的生活态度,清高孤傲,洁身自好,不问政治,不愿管理生产,自称“懒(嬾)瓒”,亦号“倪迂”,常年浸习于诗文诗画之中,和儒家的入世理想迥异其趣,故而一生末仕。 性好洁,服巾日洗数次,屋前后树木也常洗拭。家中藏书数千卷,亲手勘定。
青少年时期的倪瓒虽然家境富裕,生活优裕,但未染上纨绔子弟习气,对自身的学习修养,抓得挺紧。家中有一座三层的藏书楼“清閟阁”,内藏经、史、子、集、佛经、道籍千余卷。倪瓒每日在楼上读书作诗,除精心研读典籍外,对佛道书籍也多有涉猎。“清閟阁”内还藏有历朝书法名画,时间较远的有三国锺繇的《荐季直表》,较近的有宋代米芾的《海岳庵图》等。倪瓒对这些名作朝夕把玩,心摹手追,尤其对董源的《潇湘图》、李成的《茂林远岫图》、荆浩的《秋山图》,潜心临摹,揣摹其神韵气质。同时,他常外出游览,见到有价值的景和物随手描绘,他精细地观察自然界种种现象,认真地写生,归后往往画卷盈笥。倪瓒一方面注意继承传统技法,博采各家所长,勤奋的学习,为他后来在绘画上的创新打下了坚实的基础。
元泰定五年(1328),长兄倪昭奎突然病故。继之,母邵氏和老师王仁辅相继去世,使倪瓒悲伤不己。他原来依靠其长兄享受的特权,随之沦丧殆尽,倪瓒变成了一般的儒户,家庭经济日渐窘困,他怀着忧伤的情绪, 自作述怀诗,详述当时自己痛苦的环境。
元天历三年(1330)到至正十一年(1351)的20年内,是倪瓒绘画创作的成熟期。这时期,倪瓒广泛交际,友人多为和尚、道士或诗人、画家。他作的诗作多半也是和这类人酬唱之作。他的至交张伯雨是有名的道士,倪瓒曾为其精心绘制了《梧竹秀石图》。另一位他所推崇的名画家黄公望亦是当时新道教全真教中名人,道学深邃,比他年长32岁。黄公望曾花10年时间,替倪瓒画《江山胜揽图》卷,长二丈五尺余,是黄氏浅绛山水中的杰作之一,画卷题款为至正戊子(1348);那时倪瓒48岁。此时,他开始信仰道教(全真教),养成了孤僻猖介的性格,超脱尘世逃避现实的思想,这种思想也反映到他的画上,作品呈现出苍凉古朴、静穆萧疏的意向。
从元至正十三年(1353)到他去世的20年里,倪瓒漫游太湖四周。他行踪飘泊无定,足迹遍及江阴、宜兴、常州、吴江、湖州、嘉兴、松江一带,以诗画自娱。这时期,也是倪瓒绘画的鼎盛期。他对太湖清幽秀丽的山光水色,细心观察,领会其特点,加以集中、提炼、概括,创造了新的构图形式,新的笔墨技法,因而逐步形成新的艺术风格。作品个性鲜明,笔墨奇峭简拔,近景一脉土坡,傍植树木三五株,茅屋草亭一两座,中间上方空白以示淼淼的湖波、明朗的天宇,远处淡淡的山脉,画面静谧恬淡,境界旷远, 此种格调,前所未有。这一阶段,倪瓒创作了《松林亭子图》(1354)、《渔庄秋霁图》(1355)、《怪石丛篁图》(1360)、《汀树遥岑图》(1363)、《江上秋色图》(1368)、《虞山林壑图》(1371)等许多力作给后来的明清绘画以巨大的影响,成为元四大画家之一。
元至正二十三年(1363)九月十八日(10月25日),其妻蒋氏病死,倪瓒受到很大的打击。长子早丧,次子不孝,生活越觉孤苦无依,内心烦恼苦闷,无所适从。明初,朱元璋曾召倪瓒进京供职,他坚辞不赴。明洪武五年(1372)五月二十七日(6月28日)作《题彦真屋》诗云: “只傍清水不染尘”,表示不愿做官。他在画上题诗书款只写甲子纪年,不用洪武组年。
明洪武七年(1374),倪瓒在江阴长泾借寓姻戚邹氏家,中秋之夜,他身染脾疾,便到契友名医夏颧家就医,夏筑停云轩以居之。倪瓒一病不起,于阴历十一月十一日(12月14日)死于夏府,享年74岁。他的遗体埋葬在江阴习里,后改葬在无锡芙蓉山麓的祖坟,周南老撰墓志铭。