"富民"通过为王室征收苛捐杂税，这样看起来一举两得的妙招，也随着时过境迁，效用下降。在北宋中期以后，宋朝的乡役制度开始了变化莫测的生涯。
1. 轮差充役逐渐成为富民的负担
宋真宗时期，就有史料记载，富民充当乡役，并不是一味地捞油水，当遇到抗税、逃税的大户时，富民反而要倒贴。
"不肯输租，畜犬数十头，里正近其门，辄噬之; 绕垣密植橘柚，人不可入。每岁，里正常代之输租"。特别是遇到背后有官僚势力撑腰的豪强大族，轮差的富民就无从下手，只能补足豪强大族未缴纳的税钱。连司马光亦云对富民的困境也有所论述"故置乡户衙前以来 ,民益困乏 ,不敢营生 ,富者返不如贫,贫 者不敢求富。"
2. 宋代国家权力对于乡村社会的渗透能力越来越强
关于乡役制度，宋神宗时期有两项著名的改革，一是免役法改革，而另一项则是将保甲制度融于乡役制当中。
保甲制度的编制是按照户数设置不同的官员，进行分级管理体制。"每5户为1小保，5小保为一大保，10大保为1都保。"
如此，不论是充当乡役的富民，还是官府雇用的人员，所能管辖的民户范围大大缩小，能从中捞到的油水也呈现出大幅的下降。这体现了宋代国家权力对乡村社会的管辖、渗透能力越来越强。
很多富民充当徭役，不仅要倒贴，还耽误自家经商和土地经营，于是纷纷设法逃避。如此，急需大量税额的宋王朝收入也呈现出下降的趋势。
为了缓解境况，熙宁时期进行了免役法改革。《宋史·神宗二》载 :"罢差役法,使民出钱募役。"富民向官府缴纳免役钱，就可以不再充当徭役。而官府用这笔钱，雇佣专人代替富民征收赋税。
如此，富民阶层暂时从徭役当中解脱出来，用钱换来的时间，经营土地，经商营生。不仅避免了*，还促进了自身的资产积累。
对于宋王朝来说，免役法也让收入大幅增加。雇佣直接代表官府的人员进行征收，避免了富民与官府的利益纠葛问题，直接为宋王室带来源源不断的收入。
