孔子圣绩图之在陈绝粮图
楚昭王和孔子交谈了后，对他非常钦佩，想封给他七百里的土地，楚国令尹（相当于现在的国家总理）子西说：“大王出使诸侯的使者有像子贡这样的吗？”楚昭王说：“没有。”子西说：“大王的辅佐大臣有像颜回这样的吗？”楚昭王说：“没有。”子西说：“大王的将军有像子路这样的吗？”楚昭王说：“没有。”子西说：“大王的各部长官有像宰予这样的吗？”楚昭王说：“没有。”子西说：“我们楚国的祖先在周受封时，封地只有五十里，周武王从只有百里之地的君主最终统一了天下。如果孔丘拥有了封地，他有贤能的弟子辅佐，这不是楚国之福啊。”楚昭王觉得子西的话有道理，于是没有封给孔子土地。当年秋天，楚昭王在城父去世，孔子就离开楚国去了卫国。这一年，孔子已经六十三岁了。
孔子圣绩图之子西阻封图
又过了五年，也就是公元前484年，在季康子手下做家臣的冉有率领鲁国军队，在郎邑（鲁国之地，今山东省鱼台县东北）同侵略鲁国的齐军交战。冉有身先士卒，指挥步兵执长矛突击齐军，取得胜利。
战争结束后，季康子问冉有：“你在军事方面的本领，是学习得来的呢？还是天生就有的呢？”冉有说：“是学会的。”季康子好奇地问：“你跟着孔子学礼乐，怎么能学会打仗呢？”冉有说：“就是从孔子那里学的。孔子是位大圣人，他的知识无所不包，文武都精通，我也是才从他那里学了一点战法，学得还不够详细透彻。”
季康子听了非常高兴，冉有趁这个机会向季康子进谏说：“国家有圣人却不能用，这样想治理好国家，就像倒着走而又想赶上前面的人一样，是不可能的。现在孔子在卫国，卫国将要任用他，我们自己有人才却去帮助邻国，难以说是明智之举，请您用厚礼把他请回来吧。”季康子问该如何召请孔子，冉有说：“您打算召请他的话，就不要用小人来牵制他，那便可以了。”
于是季康子把冉有的建议禀告了当时的国君鲁哀公，鲁哀公听从了这一建议，派人带着厚礼迎接孔子回到了鲁国。
晚年的孔子
从孔子受排挤离开鲁国，到季康子迎他返回，经历了十四年的岁月，这个时候孔子已经是六十八岁的老人了。然而孔子回来后，最终还是没有受到任用，此时的孔子年岁已高，也不再谋求官职了。
孔子回到鲁国后，除了继续教授弟子外，其他的时间都在专心整理文献。孔子晚年喜好研究《周易》，反复阅读，还编撰了解说《周易》的《易传》。
孔子待在卫国的日子里，跟一个名叫师襄子的乐师学习弹琴。传说有一次孔子学习了一首新的曲子，练习了十多天后，自我感觉仍然进步不大，而师襄子却认为孔子已经很好了，就说：“我们可以增加学习的内容了。”孔子说：“我已经熟习了曲子，但还没有掌握演奏的技巧。”孔子又练习了一段时间后，师襄子跟他说：“你已经熟习演奏的技巧，可以继续往下学了。”孔子又拒绝说：“我还没有领会乐曲中的意境呢。”孔子又练习了一段时间后，师襄子跟他说：“你已经领会乐曲中的意境，可以继续往下学了。”孔子又拒绝说：“我还不知道乐曲的作者啊。”孔子又练习了一段时间后，弹起曲来得心应手、心旷神怡，他跟师襄子说：“我知道乐曲的作者了，他皮肤深黑，体形修长，眼睛望着远方，如同统治着四方的诸侯，不是周文王还有谁能创作这首曲子呢？”师襄子大吃一惊，慌忙离席，向孔子连行两次拜礼，说：“我的老师说这首曲子就叫《文王操》啊！”孔子就是通过这样的学习，精通了琴艺，掌握了乐理，完成了《乐经》。
孔子圣绩图之学琴师襄图
孔子感到自己时日无多，同身边的人说：“君子痛恨活了一辈子而名声不被人们称道，我的主张不能实行了，我用什么将自己显现给后人呢？”于是他利用鲁国史官的记载编撰了《春秋》，以鲁国为中心，记载了二百四十二年间东周各个国家发生的历史事件。弟子们听孔子讲授《春秋》时，孔子说：“后代了解我的凭这部《春秋》，后代怪罪我的也凭这部《春秋》。”
孔子将古代的文献编撰成了《诗经》、《尚书》、《礼记》、《乐经》、《易经》、《春秋》六经，并用六经教授弟子。传说孔子的弟子大约有三千人，其中兼通六经的有七十二人，被后人誉为“孔门七十二贤”。
孔子圣绩图之删述六经图
公元前480年，追随孔子最长时间的子路在卫国的内乱中遇害，被剁成了肉泥。孔子听到这个噩耗后悲痛欲绝，本来就风烛残年的身体因此患上了重病。子贡听说孔子病重，急忙跑来看望，孔子拄着拐杖在门口对子贡说：“赐（子贡的名），你来得为什么这样迟啊？”孔子知道自己的生命将要走到尽头了，叹息着唱道：“泰山坏乎！梁柱摧乎！哲人萎乎！（泰山在崩塌啊！栋梁在折断啊！哲人在死亡啊！）”接着眼泪止不住地落下。
孔子对子贡说：“天下没有王道很久了，没有人能尊崇我。夏人死后在东边的台阶上停灵，周人死后在西边的台阶上停灵，殷人死后则在厅堂前的两根柱子间停灵。昨天晚上我梦见自己坐在堂前的两根柱子之间，我的始祖是殷人啊。”
