卫子夫不仅因儿子地位更加稳固，他的弟弟和外甥对她稳固地位也有重大影响。卫子夫的弟弟卫青因为卫子夫的原因和汉武帝带入宫中予以重用。不过卫青的能力却非常出众。从公元前129年到公元前106年这段时间，卫青七次出击匈奴，收取河南，沉重打击了匈奴势力。为汉武帝反击匈奴立下了重大功劳。
再看一下卫子夫的外甥霍去病。霍去病是卫子夫姐姐的私生子，地位也比较低。他是因卫子夫和卫青的关系受到汉武帝重视。公元前121年，17岁的霍去病两次指挥河西之战，歼灭和招降河西匈奴近十万人。公元前119年，霍去病消灭匈奴左贤王部主力七万余人，使得匈奴势力退到了漠北。
卫青和霍去病由于重大的功劳，在朝中总览军权，真的是一人一之下万人之上。而且卫青还娶了汉武帝的姐姐平阳公主。此时的卫子夫在宫中深受汉武帝宠爱，而且自己儿子又是太子，地位无人可以撼动。在朝中，她的弟弟和外甥掌握军权，对她地位的巩固有很大作用。可以说卫子夫绝对是汉武帝皇后中地位最稳固的。当然，卫子夫地位虽然稳固，但她本人并不跋扈。史书上对卫子夫的评价都是比较高的。
不过卫子夫的地位不管如何稳固，都不可能是永久的。随着时间的发展，卫子夫的地位逐渐动摇。
首先是霍去病和卫青的去世。霍去病刚掌控军权没多久就因病去世，卫青在公元前106年去世。虽然卫子夫全家都被封侯，地位都非常高。不过除了卫青和霍去病两人功劳比较大，其他的人并没什么功劳。这两人掌控军权，对卫子夫在宫中地位功稳固有一定作用，可以说是卫子夫最大的依赖。不过两人去世之后，卫子夫剩下的亲人中，再没人能受汉武帝重用。所以卫子夫地位一旦出现威胁，可以说没有人能帮助她。
其次和汉武帝有直接关系。卫子夫虽然受宠，但并不是永久的，所有的皇帝都是这样，不可能一辈子只宠爱一个妃子。除了卫子夫，汉武帝后来宠爱过李夫人、尹婕妤、邢娙娥、赵婕妤等人。毕竟卫子夫年老色衰，和这些人相比优势并不大。此时的卫子夫虽然还是皇后，但危险越来越大。尤其是汉武帝对赵婕妤的宠爱，和卫子夫被逼自*有直接关系。
母以子贵这句话大家都知道，后宫妃子想掌控大权最好的办法就是让自己的儿子做皇帝，做皇帝的前提就是做储君。所以赵婕妤想尽一切办法让汉武帝废了刘据，立自己的儿子做皇帝。此时的汉武帝或许是做皇帝久了，比较昏庸，最终有了废除太子的想法。之后赵婕妤又煽风点火，刘据太子地位越来越危险。
