在随后的北伐过程中祖逖遭遇到了，当时最强的军事势力——石勒手下的大军，由于祖逖指挥得当，加上周围群众的支持。
在樵城、谷水、陈留和汴水连战连捷，特别是陈留之战消灭了石勒手下的五万大军，打的石勒军队再也不敢随意出兵河南。双方开始了长时间艰苦异常的拉锯战。直到公元321年祖逖终于收复了整个河南地区，做到了“黄河以南，尽为晋土”。
可是正当祖逖谋划一举收复全部失地的时候，当时已经在建康称帝的晋元帝司马睿，却打起了自己的小算盘。司马睿担心祖逖北伐要是真正的成功会功高盖主，自己无法控制，于是他开始想方设法牵制祖逖的行动。
首先司马睿任命尚书仆射戴渊为征西将军，都督司、兖（yǎn）、豫、并、雍、冀六州诸军事,这样一来祖逖就成为了戴渊的下级。
