祖逖与 刘琨 一同担任司州主簿时，感情深厚，常常同床而卧，同被 而眠。一次，祖逖半夜听到鸡叫，认为这是上天在激励他上进，便叫醒刘琨道：“此非恶声也。”然后与刘琨到屋外舞剑练武。两人都以收复中原为理想。
刘琨，西晋人，他是汉朝中山靖王刘胜的后代。大家所熟悉的刘备，也是中山靖王的后代。古代做官讲究出身，刘琨是帝王之后，父祖又都做过官，所以刘琨也算是世家公子。
刘琨年少时，与石崇，潘岳，陆机 ，左思等人谄媚贾谧。刘琨曾在石崇的金谷别墅中与众人饮酒赋诗，时人称他们为“金谷二十四友”。
西晋八王之乱起，内战不休。刘琨身处其中，左右逢源。刘琨忠于皇帝，而非忠于诸王，所以游走于各王之间，尽守本分，而不受其害。
永嘉元年，刘琨为并州刺史。当时并州遭受胡人破坏，十室九空，尸横遍野，强盗猖獗。刘琨虽然为朝廷任命为刺史，但只是个光杆司令，除了随从，没有一兵一卒。于是，刘琨招募兵士，得到一千多人。刘琨率兵四处征讨贼寇，又带领百姓恢复生产，于是，并州逐渐稳定下来了。
刘琨生活奢侈，又爱好音乐和女色。虽然有时自我勉励，但很快又放纵起来。
刘琨精通音律，在晋阳驻守时，常常被胡兵包围，城中十分危急。刘琨便登楼奏胡笳，胡人听了泪流满面，便退兵了。
刘琨受音乐家徐润挑拔，*了部将令狐盛。令狐盛的儿子令狐泥投奔了胡人刘聪，泄露了刘琨驻防城池的信息。于是，刘聪率军进攻刘琨，*死了刘琨父母，侵占很多地区。刘琨很想报仇，但势力大减，便招募兵士。
之后，刘琨都督并州，冀州，幽州，三州军事，与结义兄弟鲜卑首领猗卢约定日期讨伐刘聪。不久，鲜卑内乱，猗卢死，部众群龙无首。刘琨儿子刘遵在猗卢部落做人质，很有威望，众人便依附刘遵。于是，刘琨得到了猗卢的3万兵士，10万匹马牛羊，势力大增。
胡人石勒进攻乐平，太守韩据向刘琨求救。刘琨刚得到3万鲜卑雄兵，想用他们前去吓唬吓唬石勒。刘琨命令箕澹率兵2万为前锋，不料，石勒设下埋伏，箕澹大败，全军覆灭。不久，并州又大旱，刘琨陷入绝境，难以守城。
幽州刺史，鲜卑人段匹磾，多次写信邀请刘琨，想和刘琨一起兴复晋室。于是，刘琨率众依附段匹磾。段匹磾见到刘琨后，十分敬重他，结拜为兄弟。
当时，西晋灭亡，晋元帝建都南京，史称东晋。刘琨既不投降胡人，又不随晋室南下，而是坚守国土，讨伐胡虏，然而势单力薄。
鲜卑内斗，段匹磾的堂弟段末柸进攻段匹磾，抓到了刘琨的儿子刘群。段末柸让刘群写信请刘琨为内应，袭击段匹磾。书信被段匹磾，刘琨并不知内情。
段匹磾将刘群的书信拿给刘琨看，并对刘琨说“我不怀疑你，所以让你看。”刘琨答道：“我与你同盟，结为兄弟，立志一起兴复晋室，如果书信被我秘密知道，我也不会为一个儿子而辜负你的恩义。”
段匹磾向来敬重刘琨，本来就没有*他的想法，准备让刘琨回去。但亲信劝段匹磾软禁刘琨，以免发生不测。于是，刘琨受到了软禁。
当初刘琨去并州晋阳，忧虑国家灭亡难以雪耻，也知道难以用道义教导胡人，希望用自己的诚心感化他们，常常在将士面前慷慨陈词 ，悲叹自己的困境，想率军讨伐胡虏。这个心愿还没有达成，现在就被段匹磾拘禁了。刘琨自知必死，而神情自若。他写了一首五言诗赠给别驾卢谌：
握中有悬璧，本自荆山璆。
惟彼太公望，昔在渭滨叟。
邓生何感激，千里来相求。
白登幸曲逆，鸿门赖留侯。
重耳任五贤，小白相射钩。
苟能隆二伯，安问党与雠？
中夜抚枕叹，想与数子游。
吾衰久矣夫，何其不梦周？
谁云圣达节，知命故不忧。
宣尼悲获麟，西狩涕孔丘。
功业未及建，夕阳忽西流。
时哉不我与，去乎若云浮。
未实陨劲风，繁英落素秋。
狭路倾华盖，骇驷摧双辀。
何意百炼刚，化为绕指柔。
刘琨在此诗中，希望卢谌向段匹磾求情，也表达了时事艰难，壮志难酬，而时不我待的无奈。最后一句“何意百炼刚，化为绕指柔”结合诗句上文及刘琨从叱咤风云英雄变到阶下囚的经历，可以理解为“没想到铮铮铁骨的英雄，也不得不向命运低头，任人宰割。”
刘琨忠于晋室，威望很大，被段匹磾囚禁后，众人激愤不已。段匹磾骑虎难下，害怕夜长梦多，恰巧王敦秘密使人让段匹磾*掉刘琨，于是段匹磾便勒死了刘琨。
刘琨不知道的是他的失败还有其时代因素，五胡乱华有着深刻的政治经济文化背景，当时的北方已经糜烂不堪，这样的局势不是一两个刘琨就可以收拾的了的，哪怕刘琨没有犯上述那些错误，也只能是多挺几年却不可能翻盘。刘琨失败了，但是他忠心报国视死如归的精神留了下来，鼓励着东晋之后一次又一次的北伐。
