元封五年（公元前106年），卫青去世，谥号“列”。卫伉此时大概25-30岁，作为卫青的长子，卫伉继承了父亲长平侯的爵位。天汉元年（公元前100年），卫伉大概31-36岁，阑入宫，完为城旦，再次失侯。阑入就是没有带符籍入宫，等于擅自入宫。完为城旦，“完”即保留须发，城旦为刑罚名称，一种类似兵役守边塞的刑罚，为期五年。
两次失侯，让人不禁怀疑卫伉是不是不适合为官。父亲卫青即使位极人臣，依然小心谨慎，办事非常靠谱。为什么卫伉就这么差劲？难道是卫青常年忙于征战，对于儿子的教育疏忽太多所致？此时，卫子夫年老色衰早已失宠，卫青也已经去世6年，武帝对于卫氏家族的态度多多少少已经发生了转变。
征和二年（公元前91年），巫蛊事件中，皇后卫子夫、太子刘据相继兵败自*。公孙贺、公孙敬声父子被*，并被灭族，卫氏家族失去了唯一的政治盟友。卫伉此时大概40-44岁，也因牵连而死。自此卫氏家族被一网打尽，至于是谁*？有人说是汉武帝，也有人说是江充。
不过，卫氏家族并没有绝嗣。卫子夫的曾孙刘询在这场政治谋*中活了下来，日后即皇帝大位，这就是汉宣帝。元康四年（公元前62年），在即位12年后，汉宣帝诏赐卫青之孙（卫登之子）钱五十万，复家。
