然而汉宣帝并没有什么办法应对，因为这个时候的霍光还是“大司马大将军领尚书事”，自己所能够控制的力量远远不及霍光所能够控制的力量，于是在接到上书以后，汉宣帝便停止了对许平君被害一事的追查，淳于衍也被释放出宫。
霍成君于当年便入了后宫，此年成为皇后，极受汉宣帝的宠爱，而霍光也继续专权，同时霍氏子弟也由于霍光的缘故，纷纷提到迅速提拔，霍氏一族权倾朝野，而汉宣帝对此全无反应，似乎对霍光家族依然极其信任。
霍光于地节二年（前68年）去世，汉宣帝给了他皇帝级别的葬礼，然后开始真正的亲政，同时对霍氏一族成员的飞扬跋扈继续听之任之。
在失去了霍光这个大腿后，霍氏成员本应该夹起尾巴好好做人，然而他们却认为是失去了一个枷锁，反而变得更加飞扬跋扈，霍显擅自将霍光的墓地规格扩大，又与家奴进行通奸（这么看，霍光真是不值得），而霍云、霍山等人在她的影响下也是更加骄横。
霍云作为大汉冠阳侯，本来需要去上朝，但他每天都在城外打猎嬉戏，并不愿意回城，需要上朝的时候就派一个仆人代自己前去殿堂。这种行为可以说是相当的荒诞，完全没有将皇帝看在眼里了，哪怕是今天请同学去帮自己签到被抓到还会遭受处罚，何况是尊卑秩序极其清晰的古代呢？
然而汉宣帝并没有对霍云进行处罚，对霍县、霍山等人也没有进行明面上的告诫，只是慢慢地收取他们的兵权，同时将他们的党羽调离核心岗位，在感受到自己被皇帝怀疑后，霍云等人聚在一起大吐苦水，表示：“如今皇帝越来越不相信我们了，民间还有谣言说我们家*了皇后，哪里有这回事？她明明是自己死于难产的！”
霍显听说后心惊胆战地表示，皇后当年之所以难产，确实是自己派人下了毒，霍云等人一齐大惊：“原来这件事情是真的！皇帝之所以要对付我们，确实是这个缘故啊！”于是认为皇帝再也不会放过自己，开始真正想要造反，并且后来多次实施，最终于前66年被灭族。
霍光家族之所以被灭族，汉宣帝给出的理由是他们要造反，然而当时以及后世的很多人，都认为真正的原因其实是他要给亡妻报仇，这是为何呢？
霍光家族之所以造反，有两个重要的原因，一个是他们骄纵惯了，受不得半点拘束，另一个是他们自认为与皇帝有仇，皇帝不会放过自己。
前一个原因是不是很熟悉，典型的“郑伯克段于鄢”，看不惯那个人但是却无法立即打压他，于是就各种纵容他，等到他犯下不可饶恕的错误以后再使出雷霆手段；后一个原因则不必多说，一方面是霍氏这些人智商不够，另一方面也是汉宣帝一步步地进逼，让他们自感进入了绝地，最终决定“死里求生”。
