后来，汉宣帝的孙子即位，也没有忘记卫氏一族。汉成帝永始元年（公元前16年），卫青曾孙卫玄（卫登之孙卫玄）以长安公乘为侍郎。汉平帝（实为王莽当政）元始四年（公元4年），赐青玄孙赏（卫登曾孙卫赏）爵关内侯。
卫青长子卫伉因巫蛊之祸而死，卫伉一脉在史料中并没有提及，如果有子女，应该也会死在巫蛊之祸。次子卫不疑自从酎金失侯后，卫不疑再也没有出现在史书中。
卫不疑有可能确实无子嗣，所以汉宣帝下诏卫氏复家选的是卫登之子。如果有子嗣，按照古代长子优先的原则，肯定会首先选卫不疑之子。也有可能为了躲避政治迫害，卫不疑一脉选择了该信、隐居等，自此退出了历史舞台。
而卫登一脉，自打复家开始，卫氏家族复兴似乎看见了曙光。不久，王莽篡汉，西汉灭亡，卫氏家族彻底消失在历史长河中。至于东汉的卫氏家族，其实与西汉这一只显赫的卫氏家族并没有太大关系。
