西汉时的泰山郡
此后历经东汉、三国魏晋南北朝时期，虽然各朝代所辖范围各不相同，但是泰山郡一直存在。直到北齐泰山郡被改为东平郡，存在了近700年的泰山郡就此消失。
隋唐时期泰山周围的无论州、郡、县除了上述短暂的岱山县之外，或称鲁郡、或称兖州，县名或是奉高、或是博城、或是乾封，再也没有和泰山有关系的地名。
北宋时期泰山脚下的县为奉符县，而它则是属于京东东路兖州，其名字也和泰山无关。
金朝进入中原以后，为了加强对中原黄河中下游地区的统治，就扶持了宋朝的济南知府刘豫当做傀儡皇帝，建立起来的政权叫做“大齐”，史称伪齐。这个傀儡政权虽然仅存在8年，但是它却对统治区域内的行政区划进行过大幅度调整，其中就包括对泰山之侧的宋朝奉符县，于伪齐阜昌二年（1131年）将其升为了“泰安军”，这也是“泰安”之名首次出现在我国历史上。
金朝的泰安州
金朝废除了伪齐政权后，泰安军为金朝所有，并且于大定二十二年升泰安军为泰安州。此后元、明两朝均为泰安州，不过元朝时泰安州是直隶于中书省，而明朝的时候却是属于济南府管辖。
直到清雍正十三年七月，因泰安州“古号神州、控扼南北”，就是说它即有深厚的历史底蕴，又有重要的地理位置，将其升为了泰安府，到清末泰安府共领1州：泰安州；6县：泰安、新泰、莱芜、肥城、东阿、平阴。
清朝的泰安府城
民国时期的泰安城市图
