1946年以前国民党军特级上将、一级上将、二级上将常服领章
国民党军特级上将、一级上将、二级上将大礼服袖章
除了“上将”之外，相当于这一级的军衔在短时间还曾有过其他称谓。国民政府在1934年12月颁布过一套另类的军衔法规，称为《边疆武职人员叙授官衔暂行条例》，专门授予蒙古、新疆、西藏的地方武装官长。边疆武职官衔同样是三等九级制，一等称“统”、二等称“领”、三等称“卫”，每等分“都”“副”“协”三级，颇有晚清新军军衔的遗韵。其中，一等一级的“都统”就相当于上将。根据1936年国民政府颁布的《边疆武职人员叙授官衔暂行条例施行细则》，蒙古各盟的盟长、副盟长、保安长官，各旗的札萨克、总管，以及西藏军队的马基，能够获得都统、副统、协统等相当于将军的边疆武职官衔。但截至1949年，能够获得“都统”衔的只有锡林郭勒盟盟长索诺木拉布坦（索王）一人。
中国人民解放军上将军衔的设立在革命战争年代，由于受历史条件所限，我军未能正式实行军衔制度。但是，在抗战初期和抗战结束后，曾两次酝酿实行军衔制。这两次拟议的军衔等级，都是按当时国民党军队的衔级设置的，军官为三等九级制，上将为最高军衔。
新中国成立后，人民解放军现代化、正规化建设有了政治上和物质上的坚实基础，经过几年的准备，于1955年正式实行军衔制。当时我军许多高级军官经历过北伐战争、土地革命战争、抗日战争、解放战争和抗美援朝战争，几十年戎马生涯，为中国人民的解放事业作出了特殊的贡献，国家应给予较高的荣誉；特别是一些战功卓著的开国元勋，授予高衔，也是众望所归。因此在拟定军衔方案时，军衔等级设置规格很高，参考了苏联等国的军衔体系，并根据我国辛亥革命以来军衔发展情况，在上将衔之上还设有大元帅、元帅、大将。
55式大元帅、元帅、陆军将官常服肩章
1988年我军重新实行军衔制时，和上一次军衔制相比，军队体制编制和军官队伍结构有了很大变化。参照多数国家的军衔设置，决定不设大元帅、元帅、大将等高级军衔，平时最高军衔为上将。同时，考虑军委主要领导需要授予军衔时，其军衔等级与其他高级军官的军衔等级应有所区别，因此，在上将之上又设了一级上将，为最高军衔。
87式陆海空军一级上将硬肩章
1994年根据我军的实际，又取消了一级上将军衔。此后，上将为我军最高军衔。
