起初，刘墉和和珅并无直接冲突，但到了乾隆四十七年，“刘公案”之后，和珅纠集党羽暗中打压刘墉，因此刘墉的日子不太好过。
民间说刘墉是和珅最大的对手，其实有些夸大其词，尤其是在乾隆四十九年之后，和珅大权独揽，刘墉和和珅根本不是一个量级的人物。再加上和珅日渐得到乾隆的宠信，所以，在乾隆末期，刘墉的仕途是憋屈的。
乾隆五十二年，经和珅党羽的弹劾，刘墉因为泄露皇帝与嵇璜、曹文埴的谈话内容而被贬去协办大学士之职。这是刘墉第三次被贬。
次年，又是经和珅党羽弹劾，刘墉监管的国子监发生“考生行贿事件”，刘墉再次被贬。
乾隆五十四年四月，刘墉担任上书房总师傅，有一天，皇子和师傅们没有按时到上书房上课。乾隆认为，刘墉作为总师傅，应该对此事负责。遂将刘墉降为吏部侍郎。
这是刘墉第五次被贬，史料中没有记载有和珅及其党羽的参与。但明显可以看出，乾隆帝对刘墉日渐苛刻。因为在乾隆晚年，刘墉除了被贬官外，还有很多被皇帝批评的记录。
纵观刘墉五次被贬的记录，第一次因为父亲的“连坐”，可以说较为无辜。第二次因为失察之罪，不可推脱，这一次对刘墉后面的仕途帮助很大，也为他指引了“清廉”的方向。但后面三次并非大的过错，这些过错如果发生在和珅身上，乾隆帝或许会一笑置之，但刘墉不同，他已经失去在乾隆心目中的位置，因此，必须承担应有的“责任”。
刘墉的情况，直到乾隆五十九年才得到一些改观。乾隆五十九年，刘墉低调隐忍了几年后，在嘉亲王（后来的嘉庆帝）的推荐下，被乾隆帝提拔为吏部尚书。当时乾隆帝认为“刘墉太过懒散，只是当下无人可用，才提拔刘墉”。
此时，刘墉学会了与和珅虚与委蛇，和珅也不把打击的对象对准刘墉。嘉庆元年，乾隆帝退位，嘉庆帝颙琰登基。此时，乾隆位居太上皇，虽不在其位，但仍是大清朝的实际掌控者。新老交替之时，大臣们都在打着小算盘，刘墉更是不敢轻举妄动。因为刘墉知道，只待新帝掌权，权臣和珅终将落幕。
四、为官55年，活了85岁嘉庆二年五月，山东黄河决口，嘉庆帝在征得太上皇的同意后，决定派遣刘墉到山东办案，协同查看黄河决口的情况。此时的刘墉已经77岁，他赤脚来到黄河岸边，看着无情的河水肆虐庄稼，看到百姓流离失所，他不禁流泪。刘墉回到驿馆，恳请朝廷火速调来粮米救灾，同时派人在决口处修筑堤坝，疏导下游河水。他的建议被嘉庆帝一一采纳。
嘉庆四年正月，太上皇乾隆帝驾崩，嘉庆帝一方面命和珅总理丧事，另一方面秘密筹谋查办和珅。在审问和珅的人选上，嘉庆认为刘墉等三人最为合适，最终，刘墉和王杰、董诰三人共同审理和珅案，火速扳倒和珅及其党羽，为清朝清理了一位大贪官。
和珅案结束之后，嘉庆帝加封刘墉为太子少保。此时刘墉虽然年近80岁，但脚步轻健、目光如炬，在他身上，仿佛看到了大清王朝的新气象。《清史稿·刘墉传》记载：
疏陈漕政，佥丁不慎，途中盗米，致有凿舟自沉，或鬻及樯舵，舟存而不可用，请饬各行省佥丁宜求殷实，皆如所议行。
新朝新气象，刘墉继续为民请命。他上书嘉庆帝，希望嘉庆帝能够改变漕运中的漏洞。在奏折中，刘墉忧国忧民之心溢于言表。嘉庆帝看后非常感动，批准了刘墉的建议。
嘉庆七年，皇帝携百官到热河狩猎，刘墉奉旨留在京城主持朝政。他德高望重，处事公正，六部官员对他都非常信服。嘉庆帝返京后，对刘墉评价很高。
