卫伉此时年纪大概14-18岁，犯了矫诏之罪。卫伉为什么矫诏、具体又是哪一诏，具体的细节，史书并没有提及。此时，卫伉的表哥霍去病已去世一年，卫氏家族似乎冷清了好多。
元鼎五年（公元前112年），九月武帝借酎金不如法夺去一百零六名列侯的爵位，这其中就包括卫不疑和卫登。酎金，是汉代诸侯献给朝廷供祭祀之用的贡金。诸侯献酎金时﹐皇帝亲临受金。所献黄金如份量或成色不足，即为“坐酎金”治罪，王削县，侯免国。
此时，长子卫伉大概18-22岁，卫伉两个弟弟大概12-13岁。有种说法是汉武帝故意一下子剥夺这么多人的侯爵位，这其中很多都是汉武帝的宠臣和近臣，为的就是威慑那些不听话的列侯，堵住这些人的嘴。
你看，都怪你们不响应我出兵南越，那好，你们都别想混了，连我自己最宠爱的臣子爵位都去除了，这算一视同仁、秉公办事了吧？既然如此，为什么后来汉武帝没有恢复宠臣和近臣的侯位呢？比如卫不疑和卫登。
