在担任主簿的第七年，祖逖遇到了一生之友——刘琨，刘琨来此正是担任与祖逖一样的司隶主簿一职，而且“与范阳祖纳俱以雄豪著名”，这些都引起了祖逖的兴趣。虽然刘琨的出身地位高于祖逖，又多少受到洛阳繁华奢靡之风影响，“素奢豪，嗜声色，虽暂自矫励，而辄复纵逸”，但意外的是两人聊得很投机，甚至共同立下收复中原之志。在八王之乱爆发后，两人都在诸王身边任职，祖逖被辟为齐王冏大司马掾、长沙王乂骠骑祭酒，转主簿，累迁太子中舍人、豫章王从事中郎等职；刘琨则辗转赵王伦、齐王冏、范阳王虓之间，任从事中郎、冠军将军、司马等职。
三、出镇地方，披荆斩棘
在司州担任主簿的日子，是逖、琨最逍遥快乐的日子，两人互相探讨天下局势，每每坐谈至深夜，甚至相互约定，曰：“若四海鼎沸，豪杰并起，吾与足下当相避于中原耳。”永嘉之乱，洛阳沦陷，祖逖率亲族乡党数百家南下，自己被琅琊王司马睿任命为徐州刺史；刘琨则带领一千余人来到晋阳，过着“以孤立之身，游于豺狼之窟”的日子。
虽然司马睿并未有北伐之志，但祖逖却并未受到影响，他自募战士，自造兵器，加上宗族部曲的全力支持，祖逖收复了豫州，打通了北伐的通道。在对抗后赵期间，祖逖不仅多次打退赵军，还一举收复了黄河以南中原地区的大部分土地，就连当时的“狠人”石勒也不得不暂避锋芒，主动申请修好，促成边境暂得和平。相比祖逖，刘琨也没好到哪里去，白手起家的他“翦除荆棘，收葬枯骸，造府朝，建市狱”，让晋阳重新恢复了生气。后来刘琨坚守晋阳九载，抵御汉赵和后赵入侵，使其成为晋朝在中原的少数几个存留抵抗势力之一。
一人在北，一人在南，一个中流击楫以复济中原为己任，一个枕戈待旦志在驱鞑讨虏光复晋室，眼看北伐大业将成，祖逖与刘琨却再次殊途同归，祖逖收复河南，朝廷却派有才望却无远见的戴渊督司兖豫并雍冀六州诸军事、司州刺史，出镇合肥，又患权臣王敦因为跋扈而再起祸端，最终忧愤成疾，郁郁病终，晋元帝追赠其为车骑将军。刘琨督并州诸军事，在与进犯的石勒在交战中，因为全军尽出导致中伏大败，丢失并州。后刘琨投奔幽州刺史段匹磾，被权臣王敦中伤，同年，段匹磾自称奉皇帝诏旨将刘琨缢*，朝廷因段匹磾势力强大，还要依靠他讨伐石勒，因此没有吊祭刘琨。太兴三年（320），大臣上表朝廷为刘琨鸣冤，晋元帝于是追赠刘琨为侍中、太尉，谥曰愍。
