这次制度化，使得千牛卫的权力得到了限制，但由于“领左右府”拥有独立性强的特性，“领军府”无法完全掌控千牛卫，因此千牛卫依然有很大的实权，权力碰撞问题依然没有彻底解决。
因此，在后续的朝代变迁中，千牛卫的官制，又陆续经历了多次改革，到了隋朝时期，千牛卫被安排在“十二府”之下，由“左右领左右府”统辖，千牛卫也因此有了一个新的名字，叫做“左右千牛卫”，此时的千牛卫，已经有了不小的规模。
据史料记载，“左右领左右府”配备千牛卫大将军一人，千牛卫将军两人，执掌千牛刀的千牛卫十二人，执掌御刀箭的千牛卫十二人以及普通千牛卫六十人，千牛卫将军通过御兵仗调用千牛卫。可以说，到了隋朝时期，千牛卫的官制已经颇为完善。
到了唐代，由于权力中心发生变革，“北司”的地位越来越高，“左右千牛卫”的地位逐渐瓦解，其权力一再被削弱，变的徒有虚名。到了五代时期，千牛卫已经彻底演变为虚衔，最终，千牛卫于宋朝彻底崩溃。
《神探狄仁杰》之所以是人们心目中的经典，与编剧的优秀设定不无关系。为了让李元芳的身份显得合理，编剧把故事背景安排到了千牛卫逐渐成为闲职的唐朝，并给了他一个“检校千牛卫大将军”的身份，让他能够在关键时刻，站出来帮助狄仁杰断案。
有人或许会感到疑惑，因为按照前文所说，千牛卫属于皇帝的贴身侍卫，理应时时刻刻待在皇帝身边，为何作为千牛卫大将军的李元芳可以跟着狄仁杰天南海北到处跑？其实，答案很简单，除了唐朝时期千牛卫已经不那么“位高权重”以外，主要原因在于“检校千牛卫大将军”中的“检校”二字。
在唐朝时期，“检校”一词相当于如今的“荣誉称号”，一般由皇帝亲自授予。也就是说，带有“检校”二字的官职都是虚职，因此，李元芳的职位有点类似于如今的“陆军上将”，有名无实，没有实权，既然没有实权，也就没有实际的工作要做了，所以李元芳才能离开皇宫，跟着狄仁杰。
至于为何地方官员们一听到“检校千牛卫大将军”的头衔，便会表现出惶恐不安的神色，其实也很好解释。“检校千牛卫大将军”虽然是虚衔，可也是正儿八经的三品官员，而且还是皇帝特批，表明了李元芳身后有皇帝当后台，在这种情况下，但凡有点脑子的官员都不会去触霉头。
