那么在陶谦时期就已经自立的臧霸，又怎么会理会刘备的命令的，所以琅琊国虽然名义上属于徐州管辖，但是刘备别想从徐州征一个兵，收一粒粮，臧霸不打刘备就不错了。
同时陶谦曾经收留的笮融，曾督管下邳、彭城、广陵三郡运粮，将其中大量物资占为己有累积财力也曾，流窜于徐州南部，*了很多当地官吏，纵兵劫掠，这也导致了徐州南部空虚，袁术来袭时，刘备要亲自率军出征，被吕布偷袭的结果。
所以说刘备只是名义上成为徐州之主，不理刘备的人多了去了，刘备更谈不上掌控了整个徐州，他只是面前有一个可以通过多年经营征战才能成为根基的地盘而已。
第三点，也是很关键的，刘备作为名望不足的“外来户”，他没有足够的军事力量巩固自己的地位。
《三国志.先主传》时先主自有兵千馀人及幽州乌丸杂胡骑，又略得饥民数千人。既到，谦以丹杨兵四千益先主，先主遂去楷归谦。
刘备是子支援陶谦对抗曹操的时候，才留在徐州的，当时刘备的兵力有多少，主力千余人，加上一些胡骑，收拢的饥民能够收纳为士卒的人不会太多，还要就是陶谦给刘备增兵4000，也就是说刘备入主徐州的时候，兵力就是万人规模，能够打硬仗的精锐部队只会更少。
在这个前提下，即便刘备入主徐州后，尽量招募新兵，但是和陶谦时代留下的嫡系部队相比，在军事上是刘备都是太弱势了的。
刘备很无奈的一点是，陶谦时代的嫡系部队，必然成为他的一大威胁， 因为刘备无法分化吸纳这部分军队，毕竟人家也不是傻子，在刘备没有足够军力威胁的前提下，人家不会同意分散自己的部众。
而刘备想要坐稳徐州，就必须拆散陶谦旧部，这就成为一个没有解的难题，在刘备还无法破解困局时，面对袁术来袭，这个外来压力，刘备也只能亲自出征，因为他知道，一旦让陶谦旧部挂帅出征，很有可能就是他们联合袁术一起攻过来了，刘备只能寄希望于，自己在前线击退袁术，再回来慢慢处理徐州内部的问题，不过还是那句话，没有众多士族支持的刘备，想要内部消化徐州各方势力，谈何容易。
《英雄记》备留张飞守下邳，引兵与袁术战於淮阴石亭，更有胜负。陶谦故将曹豹在下邳，张飞欲*之。豹众坚营自守，使人招吕布。布取下邳，张飞败走。备闻之，引兵还，比至下邳，兵溃。
刘备在外出征的时候，张飞留守下邳，但是和陶谦故将曹豹发生冲突，结果曹豹联合吕布夺取了下邳，张飞逃跑，刘备后方根基下邳就这么丢了。
