在一年之后的公元331年，祖逖就上书统治南方的琅琊王也就是后来东晋的开国皇帝——司马睿，提出了北伐的构想。他在奏章中痛陈当时国家面临的形式，以及人民渴望北伐回归故土的心情。无奈当时的司马睿一心只想着守住南方的半壁江山，并没有真心想要出兵北伐。可是由于民间呼声太大，司马睿只能佯装出一副北伐的样子。
于是他册封祖逖为奋威将军，豫州刺史这样一个空头衔，却不给他一兵一卒，史*载当时司马睿给祖逖的只有一千人的口粮和三千布匹，但却没有一套铠甲和一名士兵，这些全部都要祖逖自己负责。
在这样的条件下祖逖并没有退缩，依然发出了“祖逖不能清中原而复济者，有如大江！”的豪言。
在来到北方后，祖逖先招募了两千多流民组成了最初的军事力量，在加紧训练的同时制造武器铠甲。
祖逖在北伐的过程中做到了军纪严明，对老百姓秋毫无犯，同时有关爱自己手下的士卒，史料中称赞他“逖爱人下士，虽疏交贱吏，皆恩礼遇之。”在北伐的一路之上祖逖亲眼目睹了北方人们凄惨的生活，更加坚定了自己的志向，同时老百姓感念祖逖孤军北伐的壮举，让他的威望也与日俱增。
