同时祖逖也了解到，在都城建康大军阀王敦与朝廷的矛盾也日益凸显，东晋随时有可能陷入内战的深渊，祖逖“虑有内难，大功不遂”。
长时间精神的高度紧张和行军打仗的劳累，终于使得祖逖忧愤成疾，倒了下去。
在公元321年九月七日,祖逖于雍丘去世，终年56岁。在祖逖死后史*载豫州的百姓“若失考批,谯、梁百姓,为之立祠。”可见当时祖逖在北方声望之高，也可以看出他所指挥的北伐是多顺应民心。祖逖北伐的壮举，也让后世诸多文人墨客也经常把他与霍去病、班超、诸葛亮等诸多英雄人物相提并论。
这次轰轰烈烈的北伐，虽然着祖逖的去世而失败，开启了东晋与十六国的南北对峙，但是祖逖从一个少年侠客，最终成长为一个杰出的爱国将领。
