霍光罢免刘贺的理由也很充分。据《汉代霍光传》记载，“受玺以来二十七日，使者旁午，持节诏诸官署征发，凡千一百二十七事。”，即刘贺在任27日内共做荒唐事1127件，平均一日40件。如果刘贺每天只睡4个小时，也要2小时就做一件。经过短短一个月的调查，霍光匆忙做出了废除刘贺皇帝的决定，这太武断了。
因此，汉代《霍光传》在描写这段历史时，提到了这样一个细节：（霍）光曰：“昌邑王行昏乱，恐危社稷，如何？”所有的大臣都吓坏了，脸色苍白。他们不敢说话。当霍光向大臣们征求废除皇帝的意见时，他们的反应是“震惊失色”。
显然，事先并没有这种迹象。刘贺不是“过街老鼠，人人喊打”，但一定有秘密。但这一秘密在《汉书·龚遂传》中仍然可以找到：“王相安乐迁长乐卫尉”。原来，刘贺成功后，提拔他在昌邑国的相国安乐为长乐宫的护卫，成为长乐宫的最高统帅。我们不能轻视这位15岁的太后。
霍光虽然可以废立皇帝，但是这个决定是不能从他的嘴里发出来的从理论上讲，只有通过太皇太后，才有可能立下诏书。刘贺把他的密友提升到了这样一个关键的地位。难怪霍光再也坐不住了。如果他再不行动，他就等死了。然后是他会“下课”。
