但是，桓公晚年昏庸，重用佞臣公子开方、易牙、竖刁等人，当贤臣管仲、隰朋及鲍叔牙等相继去逝后，齐国开始走下坡路。
齐桓公和管仲立公子昭为太子，并嘱托宋襄公予以照应。桓公四十三年(前643年)，齐桓公重病，五公子(公子无亏、公子昭、公子潘、公子元、公子商人)各率党羽争位，在齐桓公居室前筑起高墙。冬十月，齐桓公饿死。五公子互相攻打，齐国一片混乱。桓公尸体在床上放了六十七天，尸虫都从窗子里爬了出来，“身死不葬，虫流出户”。后来易牙、竖刁等人拥立的齐君无亏夺位后才把桓公收殓。
这中间还有个故事，前643年，为齐桓公创立霸业呕心沥血的管仲患了重病，齐桓公去探望他，询问他谁可以接受相位。管仲说：“国君应该是最了解臣下的。”齐桓公欲任鲍叔牙，管仲诚恳地说：“鲍叔牙是君子，但他善恶过于分明，见人之一恶，终身不忘，这样是不可以为政的。”齐桓公问：“易牙怎样？”管仲说：“易牙为了满足国君的要求不惜烹了自己的儿子以讨好国君，没有人性，不宜为相。请国君务必疏远易牙、卫开方、竖刁这三个人，宠信他们，国家必乱。”
竖刁这个人是在齐国负责内侍和女宫的，为取信于齐桓公与内宫，他放弃男儿身，阉割了自己，又阿谀逢迎之能事，深得恒公喜爱。
易牙是个大厨师，桓公宠幸的近臣。有一次桓公对易牙说：“寡人尝遍天下美味，唯独未食人肉，倒为憾事。”桓公此言本是无心的戏言，而易牙却把这话牢记在心，一心想着卖弄好自己的本事，好讨得桓公的欢心。心想：国君何等尊贵，绝不能食用死囚、平民之肉。后来他看见自己4岁的儿子，选了用自己儿子的肉。桓公在一次午膳上，喝到一小金鼎鲜嫩无比，从未尝过的肉汤，便询问易牙：“此系何肉？”易牙哭着说是自己儿子的肉，为祈国君身体安泰无虞，*子以献主公。当桓公得知这是易牙儿子的肉时，内心很是不舒服，却被易牙*子为自己食的行为所感动，认为易牙爱他胜过亲骨肉，从此桓公宠信易牙。
这便是“易牙烹子”的典故。后来人们便用“吴起*妻，易牙烹子”的典故比喻为了高官厚禄荣华富贵而丧尽天良的人。
话接上文，管仲说罢，见齐桓公面露难色，便向他推荐了为人忠厚，不耻下问、居家不忘公事的隰朋，说隰朋可以帮助国君管理国政。遗憾的是，齐桓公并没有听进管仲的话。易牙听到齐桓公与管仲的这段对话，便去挑拨鲍叔牙，说管仲阻止齐桓公任命鲍叔牙。鲍叔牙笑道：“管仲荐隰朋，说明他一心为社稷宗庙考虑，不存私心偏爱友人。现在我做司寇，驱逐佞臣，正合我意。如果让我当政，哪里还会有你们容身之处？”易牙讨了个没趣，深觉管仲交友之密，知人之深，于是灰溜溜地走了。不久管仲病逝。齐桓公也就将易牙等三人撤职，永远不准入朝。
知人者哲，举贤不避亲这是管仲的明！“管鲍之交”也为后世传为佳话，《列子·力命》：“生我者父母，知我者鲍叔也。”
