从夏商周到宋代，这里的建置不断变化，但从未以"怀远"二字命名。南宋时，淮北一度沦无金国之地，在这里改设荆山镇。金亡后，南宋收复，复设荆山县。
到了宝佑五年（公元1257年）在此设"怀远军"，辖荆山县，地跨淮河两岸。"怀远"名称亦自此开始。德佑二年（公元1276年）2月怀远军投降了元军。
元朝至元二十八年（公元1291年）正月，怀远军被撤废，与荆山县合并，改称怀远县，属濠州，隶于安丰路，也就是今寿县南安丰塘一代地方区域。怀远县名从此沿用至今。
新中国成立后，怀远县1949年属宿县专署辖县，1956年属蚌埠专署辖县。1961年恢复宿县专署仍为属县，到了1983年7月，由宿县地区管辖改属蚌埠市下辖的县。
