1765年，纪晓岚父亲去世，他按照制度辞去官职，回家为父亲守孝3年。1768年，守孝3年期满，纪晓岚回到朝廷。有人建议纪晓岚任职贵州都匀知府（相当于现在的贵州都匀的市长），可乾隆皇帝没有答应，将纪晓岚留在身边任职，不久提拔为翰林院侍读学士。翰林院侍读学士为从四品，相当于现在中央领导的秘书。
不过，纪晓岚被提拔为翰林院侍读学士才2个月，他的亲家、前任两淮盐运使卢见曾受“两准盐引案”的牵连，被追问责任，死于狱中。纪晓岚因为提前泄漏机密，被撤掉官职，发配到乌鲁木齐赎罪。
这是纪晓岚人生中的第一个重大打击。
幸运的是，乾隆皇帝没有忘记纪晓岚。1771年，纪晓岚在乌鲁木齐度过3年流放生涯后，被释放了，回到了京城。当时，乾隆皇帝正在热河承德避暑山庄度假，期间发生了著名的“土尔扈特部东归”事件。乾隆皇帝返回京城时，纪晓岚前往密云迎接圣驾，并以“土尔扈特部东归”为题，写了一组诗。乾隆皇帝很满意，让他回到自己的身边，任职翰林院编修。
终点又回到了起点。
从1773年起，纪晓岚负责干了一件很重要的事情：编撰《四库全书》。编撰《四库全书，》是中国古代最大的一项文化工程，由纪晓岚等360多位高官、学者编撰，3800多人抄写，耗时十三年编成，共收录3462种图书，共计79338卷、36000余册、8亿字。
就在这时候，纪晓岚迎来人生中的第二个重大打击。
1774年，纪晓岚次子纪汝传在担任九江府通判时渎职拖欠赋税，被朝廷依法处理。纪晓岚受到牵连。吏部初拟处理意见，是降职调任。乾隆皇帝知道后，法外施恩。改判为降三级留任。这为纪晓岚的复出预留了空间。
1776年，纪晓岚升迁频繁，先是升为从四品的翰林院侍读学士，随即转任日讲起居注官，随后升为兵部侍郎。兵部侍郎为从二品，相当于现在的国防部副部长。
1779年，纪晓岚转任从二品的内阁学士兼礼部侍郎，相当于的文化部副部长兼教育部副部长。
1796年，纪晓岚升为任兵部尚书。兵部尚书为从一品，相当于现在的国防部部长。
不久，纪晓岚转任左都御史。左都御史也为从一品，相当于现在的最高人民检察院检察长。
1797年，纪晓岚移任礼部尚书。礼部尚书为从一品，相当于现在的文化部部长兼教育部部长。
1805年，纪晓岚封协办大学士。清朝时期，朝廷不设置宰相，但大学士素有宰相的名声，被尊称为“中堂”，协办大学士为大学士的副职，相当于现在的副国级。
