在我国古代封建社会当中，权力体系是相对比较稳定的，那便是皇帝作为最高统治者，下辖数个主要的官员，由上至下人员逐渐增多，从而实现中央控制地方。在隋唐三省六部制出现前，这套权力体系当中居于次要地位的大多数时候都是著名的"三公九卿"，一般而言，三公的地位是除皇帝外最尊贵的，而他们的正式官名则分别是丞相、太尉和御史大夫。
这三人当中，丞相主要负责掌管行政权，太尉主要处理军政事务，御史大夫则负责对官员进行监管，从而形成一定程度上的制衡。不过，如今人们但凡提到三公，就会下意识认为就是上述的三个官职，但实际上三公的具体指代对象在历史上并不是固定的，也就是说，认为三公就是丞相、太尉、御史大夫，是并不完全准确的。
据《礼记》记载："夏后氏官百，天子有三公、九卿、二十七大夫、八十一元士。"由此可见，我国早在夏朝时就出现了"三公"这一称呼，只不过当时的三公时和九卿、二十七大夫、八十一元士等数量为三的倍数的官员组成一个金字塔式的权力结构，其具体官名、职责并不为人所详细知晓。
商、周时期，三公依然存在，而根据《通典》的记载，周朝时的三公分别是太师、太傅、太保。其中，太师为三公之首，职能则是辅佐国君处理政务，像帮助周朝消灭殷商的姜子牙，就被文王姬昌尊为太师，主导与商的作战。
太傅位在太师之后，他不但要辅政，还要负责教导帝王、掌管礼法，像著名的周公旦就曾经被尊为太傅。太师、太傅之后才是太保，他的责任也是监护国君、辅导国政。历史上曾帮助康王缔造"成康之治"的召公就是作为太保辅政，奠定了周朝的长治久安。
从周朝时三公的职责设置我们可以看出，当时的三公仅仅是三种地位最尊官位的合称。具体而言，太师、太傅、太保的职能大体相同，只是尊贵程度上有些许的高低之分，它们三者并没有体现出分工合作和权力之间的制衡。周朝灭亡后，秦始皇废除三公制，改为由左右丞相辅政，太尉、御史大夫则作为丞相的副手从旁协助，但随着秦朝的迅速灭亡，三公又在汉朝得以重生。
汉朝建国之初沿用的是秦国的左右丞相制度，但有时也会暂时设置太尉以方便处理军事方面的重要事务。汉武帝独尊儒术后，三公作为儒家推崇的"周礼"的一部分，也得以回到朝堂，并逐渐成为了丞相、太尉、御史大夫这三大官职的合称。根据当时的标准，丞相、太尉分管政治、军事，都品秩万石，而相比之下御史大夫品秩不过两千石，地位似乎远远不及前二者，但他一来起到监督百官的作用，二来逐渐被赋予了副丞相的职权，所以还是被众臣忌惮。
武帝在位期间，曾将太尉之名改为大司马，名将卫青、名臣霍光都曾经担任此职，并掌控兵权。此后，三公所具体指代的对象又几经变迁，像东汉时，它先是大司马、大司徒、大司空的合称，后来经过光武帝废大司马设太尉、汉末曹操罢三公恢复丞相等变化，三公体系变得愈发混乱，而原本似乎比较合理的丞相、太尉、御史大夫结构也难以重构。
如同上文所说，在隋唐三省六部制出现并完善后，三公制这样由三四人分管三四个部门的体系遭到了代替，不过，三公制失去具体权能，还是能够凭借其代表意义继续存在的。举例来说，隋唐以后的很长一段时间里，三公再度成为了太师、太傅、太保的合称，但此时的这些官职基本已是用来赏赐和追赠的虚衔，不再具备实际权力。
总的来看，三公最初是夏、商等权力运行结构比较简单的原始王朝用来表示尊贵身份的官职合称。后来周朝重视礼制、崇敬贤能，三公就成为了三位辅政大臣太师、太傅、太保的合称，此时，能够担任这些职务者不少都展现出了与地位相匹配的才能，帮助了周朝向前发展。
进入秦汉，三公随着官制的改变也变了模样。出于国家机器复杂化的需要，三公所代表的官职之间出现了职能的分化和互相制约，这有利于中央集权的发展，也体现了历史发展带来的变化。
此后，由于权力体系不断出现变数，三公也随之发生更改，直至更加先进和便于集权的三省六部制出现，原本拥有实权的三公才逐渐变得更倾向于一种荣誉。拥有如此复杂多样的变化，将三公简单归纳为丞相、太尉、御史大夫，显然是一种错误的做法。
