众所周知，我国行省制度起源于元朝。元朝把全国划分为10个行省，当时并没有贵州省。1368年，明朝建立以后，进一步调整各省的区划，在西南地区组建了贵州省。不过，明朝统治时期的贵州省，比现在的贵州省，小了一大圈。17世纪中期，清朝逐步确立了自己的统治。清朝雍正皇帝在位时期，出于改土归流的实际需要。
把四川、云南、广西、湖南的部分州县，陆续划入了贵州省管理，进而形成了贵州省的基本区划轮廓。其中，川南的遵义地区，划入了贵州省管理，形成了遵义府。遵义划入贵州省以后，大大加强了贵州省的整体力量。截至嘉庆皇帝在位时期，贵州省下辖了8个府和4个军民府。
分别是：贵阳府、都匀府、黎平府、思南府、思州府、镇远府、铜仁府、石阡府、安顺军民府、普定军民府、普安军民府、平越军民府。其中，遵义府下辖了1个散州、4个县，分别是：正安州、遵义县、桐梓县、绥阳县、仁怀县。1912年，清朝灭亡以后，我国进入了军阀混战的复杂格局。
由于战争连续不断，对各地经济造成了很大的破坏。一转眼到了建国初期，随着大规模战争的基本结束，我国进入了战后重建、恢复生产、发展经济的新时期。在贵州省各地，陆续组建了各个地级市、专区。其中，遵义专区下辖了1个县级市、11个县，分别是：遵义县级市、遵义县、绥阳县、正安县、道真县、婺川县、凤冈县、湄潭县、仁怀县、赤水县、鳛水县、桐梓县。
鉴于遵义市的重要性，1955年，遵义市被提升为地级市，与遵义专区并立。在五六十年代，地级市与专区并立的情况很多，例如苏州市与苏州专区、石家庄市与石家庄专区等等。1956年，镇远专区的余庆县，划入了遵义专区管理，遵义专区下辖了12个县。1958年，在贵州省新一轮的区划调整中，遵义地级市被降级为县级市，重新划入遵义专区管理。
同一年，安顺专区的息烽县，划入了遵义专区管理。此时，遵义专区下辖了1个县级市、13个县。遵义市下辖的部分县，属于生僻字，为了解决这个问题。60年代初期，遵义专区下辖的婺川县改名为务川县，鳛水县改名为习水县。1963年，贵阳市下辖的开阳县，划入了遵义专区管理。此时，遵义专区合计下辖了1个县级市、14个县。
在五六十年代，我国的交通、通讯水平有限，下辖的区县太多，反而增加了管理难度。因此，1965年，遵义专区的息烽县、开阳县，划入了安顺专区管理，调整为下辖1个县级市、12个县。60年代末期，全国所有的专区更名为地区，遵义专区更名为遵义地区，管辖范围不变。
70年代末期，我国经济进入了持续高速发展。为了适应经济发展的需要，我国各省下辖的地区，陆续进行区划调整。随着遵义地区的持续发展，遵义地区的赤水县、仁怀县被陆续撤销，组建了县级市。1997年，遵义地区被撤销，组建了遵义地级市。同时，遵义县级市被撤销，组建了红花岗区。进入21世纪以后，遵义市的城区面积进一步扩大，城市人口进一步增加。
