之后霍光废除昌邑王，达到了人生的巅峰，霍光也成为了权臣的代名词。有意思的是伊尹和周公一起用就是称赞，伊尹和霍光一起用就是权臣叛逆。这个时候汉朝虽然没有废除丞相，可是实际上的宰相是大将军录尚书事。汉哀帝时期改丞相为大司徒，存在了三百年的丞相制度被取消了。东汉末年，董卓自封相国，恢复了相国制度，董卓死后，曹操于建安十三年恢复了丞相。不过曹魏建立以后不设丞相，蜀汉只有诸葛亮一位丞相，诸葛亮病逝后，后主刘禅废除丞相，仍以大将军录尚书事为宰相。三国之中只有孙吴一直设有丞相这一官职。
两晋南北朝时期，除少数时间外，大部分时间是不设丞相的，东晋初期王导担任过丞相，前秦的王猛也担任过。之后的三省的雏形已经逐渐形成，以中书令，尚书令，侍中，尚书左右仆射为宰相。
隋朝建立以后改中书令为内史令，主要是避杨忠的讳。三省长官皆为宰相，不过尚书令地位特殊一般都是由皇子担任，所以尚书省的实际长官是左右仆射。唐朝建立后宰相制度改革了很多次，首先是内史令又改回了中书令，尚书令因为李世民担任过，所以以后没人敢当，郭子仪再造大唐，曾被授予尚书令，被他拒绝了，只有晚唐时期，岐王李茂贞担任过尚书令，所以唐朝尚书省的实际长官也是左右仆射。
不过从唐太宗时期开始，就开始提拔一些官员加同中书门下三品的职衔，因为中书令和侍中都是三品官，加了这个职衔就可以进政事堂，参与朝政，也视为宰相。唐初以尚书左右仆射为宰相之首，因为这两人是二品，比中书令侍中的级别高。而资深宰相会进位司空司徒太尉的三公之职，比如长孙无忌就进位太尉，成为了群臣之首。之后唐朝又将同中书门下三品改为同中书门下平章事，并且规定没有这个职衔就不是宰相，不能进政事堂。
