但卫子夫上位有个障碍拦在她面前，就是汉武帝的皇后陈阿娇，没有陈阿娇母亲长公主刘嫖的帮助，汉武帝刘彻之母王夫人不能成为皇后，汉武帝也不可能成为天子，因此才有了“金屋藏娇”的故事。
但此一时彼一时，汉武帝如今已经贵为天子，但陈阿娇却一直没有为汉武帝生下一儿半女，同时对于受宠的卫子夫，刘嫖和陈阿娇也千方百计的打击更是差点要了卫子夫弟弟卫青的命。汉武帝不能容忍有人动自己看重的东西，因此他对陈阿娇和刘嫖采取了行动，借口就是她们利用巫蛊诅咒皇帝。酷吏张汤就是汉武帝策略的执行人，他一手把罪名坐实，陈阿娇被废黜，刘嫖一派的势力被肃清。卫子夫成功上位，儿子刘据成为了太子，弟弟卫青成为了大将军，一时之间卫氏满门显贵。
卫子夫的上位是汉武帝的安排，她的落幕也是汉武帝的主意，对于越看越不像自己的太子刘据，汉武帝总想把他换掉。但是卫氏势力强大，特别是卫青、霍去病在世时，汉武帝也不敢轻举妄动。在卫青去世前，汉武帝还专门去安抚卫青，目的就是怕卫氏孤注一掷，那样会对汉武帝造成极大的威胁。
太子敦重好静，必能安天下，不使朕忧，欲求守文之主，安有贤于太子者乎！闻皇后与太子有不安之意，岂有之耶？可以意晓之。——《资治通鉴》
卫青死后，卫氏家族开始迅速坠落，卫子夫和刘据发现身边的人越来越少，而围绕在汉武帝身边的开边兴利之臣却越来越多，但霍光是个例外，他是个谨慎小心的人，对于汉武帝的命令总是能不折不扣的完成，因此才深得汉武帝的信任。但大家不要忘记，这个霍光是霍去病的弟弟，而霍去病和卫氏是脱不了干系的。
太子使舍人无且持节夜入未央宫殿长秋门，因长御倚华具白皇后，发中厩车载射士，出武库兵，发长乐宫卫，告令百官日江充反。——《汉书·武五子传》
