不得不说，霍光和他哥哥一样，都没啥文化，却一个极有军事天赋，一个极有政治天赋。霍去病从不看兵书，却打得匈奴满地找牙。而从汉武帝赐《周公辅成王图》，也可以看出霍光的文化知识有限。据史*载，当汉武帝命黄门画者绘《周公辅成王图》并赐给霍光时，霍光竟搞不懂，问身边的人，是皇帝想让我学画画，还是皇帝认为我喜欢画？我该怎么回？搞笑的是，他身边也没人向他说明，就这样稀里糊涂过去了。两年后，汉武帝眼看不行了，赶紧派人喊霍光他们来。霍光听武帝说要死了，那是哭得不行不行的，当然也忘不了问一句谁接班。武帝有气无力地蔑视了霍光一眼：“不早告诉你了，立弗陵，你当周公！”后来霍光通过咨询博学之人，终于搞明白《周公辅成王图》背后的典故，知道自己牛了。不过，都当辅政大臣了，他依旧没心思去多读点书，哪怕是和帝王将相有关的历史典故。所以当后来废刘贺时，只能问手下可有先例可循。田延年就援引了伊尹的例子。霍光如获至宝，立即进宫逼只有十四五岁的皇太后，也就是他外孙女下懿旨废了刘贺。可人家伊尹没废太甲啊，只是让他去反思了。
伊尹三年后还政于洗心革面的太甲
当然，无论是《周公辅成王图》，还是寻典故废刘贺，也不排除是霍光故意藏拙演戏。但不管如何，正好给满朝文武私下里嘲笑这位摄政王的把柄，甚至班固直接写进《汉书》，留下“不学无术”这一成语。但霍光的为政天赋还是很好的，他记住了汉武帝晚年的惨痛教训，重拾汉初休养生息的政策——实际上，这也是千古不变的真理：治大国如烹小鲜，为政者只需要制定好大政方针，管好社会基础工作，其他的都放开，老百姓自然还你一个盛世。所以，当后来他与共同辅政的几位大臣有各种龌龊，把他们除掉，历史记载了各种各样的宫斗故事，但霍光的终极目标还是清楚的：底线就是不能改变于民休养生息的政策，谁想改变这一点，谁就要死亡或者下台！
公元前87年，70岁的汉武帝终于挂了，霍光、金日磾、上官桀、桑弘羊四位重臣和8岁的汉昭帝刘弗陵登上历史舞台。此时，霍光兼领大司马大将军重职，手握军政大权，可谓当之无愧的第一号辅政大臣。而且，霍光与同为辅政大臣的金日磾、上官桀都有联姻。上官桀长子上官安、金日磾次子金赏都是霍光的女婿。如此关系，再加上桑弘羊系出底层商贾家庭，所以虽贵为御史大夫，在辅政方面，也只能是打酱油的份。《汉书》说“帝年八岁，政事一决于光”。这个“一”字，用的堪称绝妙。但在权力面前，亲家也不好使，谁不想当老大呢？金日磾是否有挑战霍光的野心，不好说，因为他死的早，刚辅政两年就挂了，年仅49岁。上官桀的野心却是很明显的。上官桀想提高自己的政治地位，就和亲家霍光商量，把他的孙女，也是霍光的外孙女，6岁的上官氏嫁给11岁的小皇帝做皇后。不知霍光是怎么想的，历史没有明确记载，反正他是极力反对的。后人推测，一则是上官氏毕竟是霍光的外孙女，和霍家没啥大关系，她成了皇后，得益的是上官家族，上官桀就有可能因此超过自己，所以他要极力反对；还有人进一步推测说，实际上霍光是想再等几年让自己3岁的女儿霍成君嫁给皇帝的，从而进一步抬高自己的地位，但不想上官桀先他一步，所以极力反对。不管怎样，两位亲家算是结梁子了。霍光不同意，上官桀却不气馁，毕竟娶皇后是刘家的事，于是他转而走汉武帝长女、刘弗陵异母姐姐盖长公主的路子——武帝死后，基本由寡居的她在宫中抚养年幼的汉昭帝。长姐如母，小皇帝的事她能做主。上官桀成功将孙女嫁给小皇帝。盖长公主这么给面，上官桀更要讨好巴结回报啊，于是上奏把盖长公主的情夫丁外人封为列侯和光禄大夫。但行政大权在霍光这，估计他正因上官桀荣升国丈生闷气呢，毫不犹豫地驳回了上官桀的奏请。这下不但更加得罪上官桀，也把皇帝的姐姐得罪了。这个时候，上官桀、盖长公主结盟，实力明面上超过霍光，朝中大臣及刘氏宗亲都开始往这边靠拢。同为辅政大臣的桑弘羊也因与霍光政见不同和上官桀走到一起——霍光倡导于民休养生息，少干涉民间经济发展的政策。桑弘羊却不同，他之所以从一个商贾得到汉武帝的重用，正是因为他善于干涉民间经济发展，通过化民有为国有，为武帝聚敛钱财而上位。
此时的霍光虽掌握着绝对的军政大权，但有此强敌，心中不安是肯定的。话说这一天，上官桀父子联合盖长公主、燕王刘旦、桑弘羊等人，趁霍光休假，以燕王的名义上书昭帝，说霍光正准备造反，他愿意进京勤王，还呈上证据：霍光休假前，调动了军队——实际情况是，霍光检阅皇宫禁卫军时，看一名校尉很顺眼，便调到了自己的大将军府。欲加之罪何患无辞。霍光真的有点大意了。不过，天不绝霍光。按说，时年昭帝只有14虚岁，是很好糊弄的，况且盖长公主还照顾他的起居，只要说上一句话，霍光就凶多吉少。偏偏这昭帝聪明且有主见，不上当。《汉书》说，昭帝听闻燕王书奏，既“不肯下”，而且“上不听”，完全不按常理出牌。既然有人举报你霍光谋反，你就别休假了，来宫中说明情况吧。见小皇帝这样，上官桀等人真是得意至极，都做好了伏兵，就待小皇帝一声令下，就把霍光先咔嚓了再说。霍光呢？恐慌那是难免的，史载，他进了宫就伏地不起，自称罪孽深重，请皇帝宽容。小皇帝接下来的举动不但令霍光惊讶，更令上官桀等人吃惊。他亲自扶起霍光，说你没啥罪，朕知道是有人在陷害你。还说了理由：1）“将军为非，不须校尉”，大将军如果真要叛乱，也用不着靠调一个校尉；2）大将军调用校尉是这两天的事，远在北方的燕王怎么会知道？就算知道，马上写奏报，也没这么快送来啊。所以说，这是有人陷害您，现在情况已明了，没事了。刘弗陵的聪慧与果断在这件事上表现的淋漓尽致，既敲打了上官桀及刘氏宗族，也敲打了霍光。显然他知道，一旦同意燕王进京勤王，自己的帝位也就保不住了。但是，他却没有深究，因为他也知道，霍光也是需要制衡的。自己辅佐的人年轻轻就有如此高的政治素质及手腕，不知霍光心里是啥滋味，但上官桀一伙显然是没有接受教训，见小皇帝不好糊弄，便决定暗*霍光，偏偏计划又不够缜密，让霍光知道了。见识过小皇帝厉害的霍光就毫不客气了，一举灭掉上官桀及桑弘羊全族，并逼盖长公主和燕王旦自*，还给他们扣上“计划谋反”的大帽子——真是一报还一报，宣帝最后也给霍家扣上这一顶帽子族灭之。由此，皇后上官氏只剩下霍光这一族亲戚。霍光成为朝中当之无愧的老大。上官桀这帮蠢人算是害苦了昭帝。不过，灭了上官桀这帮对手也是好事，最起码，没人再给霍光的政策使绊子。应该说，虽然霍光文化不大，但政治作为还是不错的，对内大赦天下，重拾汉初休养生息政策。对外缓和同匈奴的关系，恢复和亲政策。大汉国力开始逐渐恢复。但昭帝的日子却不好过了。他的聪明暴露的太早了。
