（二）两汉时，太尉不能直接统兵
到西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。
但与秦朝不同的是，在皇帝之下设立了三套平行的官僚体系：
（1）丞相率领的外朝官；
（2）大将军率领的内朝官；
（3）处理皇帝与皇族私人事务的宫廷官。
其中外朝官为西汉中央政府的最高行政权力由丞相、太尉、御史大夫三人分掌，其下分设九卿、列卿等。但由于官制名目甚多也有一定的分权目的，所以太尉的实权性时时不定。
按《汉书·百官公卿表》：“太尉，秦官，金印紫绶，掌武事。”是汉朝的最高武职，不常置。不设置太尉时，则以太尉职归丞相。
也就是说，皇帝觉得皇权受到危险时，可以不设这个职位。看来几千年前老祖宗们都在这么玩了。
《历代兵制》记：京师之兵，止南北军及中尉缇骑、郎中令诸郎、城门校尉屯兵。北军属太尉，南军属卫尉。武帝更太尉为大司马大将军，以宠将帅；而北军分八校尉，以中垒领之（中垒、屯骑、步兵、越骑、长水、胡骑、射声、虎贲，凡八。）
而且，汉朝军队由各将军、校尉统领，太尉不能直接指挥军队。例如周勃平定诸吕之乱时，身为太尉，却不能进入上将军吕产所指挥的北军，只得诈称帝命方进入北军营地并取得指挥权。
东汉稍有变化。
东汉时期，以太尉、司徒司空为三公，太尉管军事，司徒管民政，司空管工程，三公各自行使所负责事项的监察权，分别开府，置僚佐。
但从董卓开始，东汉实权已转移到尚书台，太尉实为丞相﹐与西汉早期掌武事的太尉名同而实异。
（三）隋唐至元代，级别高，但成为虚职
隋唐以来，决策权转移至中书门下，而行政权在尚书六部手中。三师（太师、太傅、太保）、三公（太尉、司徒、司空）品级虽高，无实际职事，一般只是作为加官，尤以唐后期各种检校官为甚。
宋初三师三公只是作为升迁资序所用，并无执掌。太尉旧在太保之下，自五代以来则提升至次于太师而在太傅之上。
只是，在徽宗年间，因防御外敌和边防需要，重定武官制度，太尉成为武阶官之首，而司徒司空则被三少所代替。所以，高俅高太尉并不是虚职，而是货真价实的国防部长。
元代三公仅作为加衔，后期也是加授极滥。
明清以后以原三师为三公，不设太尉。
