后来，祖逖和幼时的好友刘琨一起担任司州主簿。他与刘琨感情深厚，不仅常常同床而卧，同被而眠，而且还有着共同的远大理想：建功立业，复兴晋国，成为国家的栋梁之才。 一次，半夜里祖逖在睡梦中听到公鸡的鸣叫声，他一脚把刘琨踢醒，对他说：“别人都认为半夜听见鸡叫不吉利，我偏不这样想，咱们干脆以后听见鸡叫就起床练剑如何？”刘琨欣然同意。于是他们每天鸡叫后就起床练剑，剑光飞舞，剑声铿锵。春去冬来，寒来暑往，从不间断。功夫不负有心人，经过长期的刻苦学习和训练，他们终于成为能文能武的全才，既能写得一手好文章，又能带兵打胜仗。祖逖被封为镇西将军，实现了他报效国家的愿望；刘琨做了都督，兼管并、冀、幽三州的军事，也充分发挥了他的文才武略。
背景故事：
西晋末年，祖逖先后跟从齐王、长沙王、豫章王等人，但是诸侯王们相互攻伐，国家永无宁日。这些或许令祖逖心灰意冷，所以后来范阳王、高密王、平昌公等人再次征召祖逖时，祖逖就拒不赴任。
因为北方少数民族首领刘渊因西晋王朝“八王之乱”之际趁机崛起，刘渊的继任者刘聪励精图治，于永嘉五年即公元311年攻破西晋，俘虏西晋怀帝司马炽，并将一大批王公贵族掳至北方，西晋灭亡。司马炽的同父异母弟司马睿慌乱渡江，一大批文人士大夫以及庶民也随之而去，并在健康（今南京）称帝，史称晋元帝司马睿。随着此次永嘉之乱，中原人民大规模南迁避难，造成了第一次“衣冠南渡”。
此时祖逖亦率领乡党数百人前往南方避难，一路上遇到各种险情，全靠祖逖应付自如，所以众人拜他为“行主”。当时琅琊王司马睿已在南方经营多年，祖逖到来以后，受到了司马睿的重用。然而通过接触，祖逖发现自己与司马睿的观念完全不和。祖逖的理想是北伐，当时北方落入了夷狄之手，祖逖一心想要收复失地，雪洗国耻。然而司马睿的心思却完全放在了南方，北方他想都不敢想。于是祖逖便主动请缨，要求光复失地。司马睿同意了他的请求，但是并未对他提供多少实质性的资助，祖逖只带了自己数百名亲信，毅然从京口渡江北上。
当时祖逖船行于长江之上，面对这滔滔江水，顿时豪情万丈，他拍着船楫，发誓要收复中原。
《晋书·祖逖传》：仍将本流徙部曲百余家渡江，中流击楫而誓曰：“祖逖不能清中原而复济者，有如大江！”辞色壮烈，众皆慨叹。
这便是成语“中流击楫”的来历，可以说祖逖是抱着必死的决心，何其的悲壮，难怪能令众人慨叹。祖逖带着自己寥寥无几的人马，渡江以后稳扎稳打。他先是在淮阴驻扎，一边冶铁锻造兵器，一边招募士兵。没错，祖逖开始就是这么惨，连兵器都要自己打造。然而偏偏这支队伍却创造了奇迹，他通过几年的努力，竟然收复了黄河以南的大片失地。
当时，北方的领导者是后赵石勒，与刘曜的前赵决裂，而祖逖在河南南部屡屡击败石勒的军队。石勒担心腹背受敌，更不愿意招惹祖逖这个硬茬，所以石勒与祖逖修好，命人去修建祖逖母亲的坟墓，并与祖逖修好互市。
