大别山位于淮河和长江之间，西北接桐柏山，西为江汉平原，东为江淮平原。大别山呈不规则的三角形，西部呈西北-东南走向，东部呈西南-东北走向，东西约380公里，南北约175公里。大别山中多深谷陡坡，地形复杂，坡向多变，坡度多在25°～50°，最高峰为白马尖，海拔1777米。
大别山上之水南北分道扬镳，南北两侧的自然和人文景观差别很大，故名大别山。
大别山是长江流域和淮河流域的分水岭，南麓之水通过巴河、蕲河、浠水、举水、广水河，大悟河、滠水等河流汇入长江，北麓之水经竹竿河、潢河、灌河、史河等河流汇入淮河。
大别山位于湖北、河南、安徽交界处，雄踞江淮之间，西望武汉、东瞰合肥，襟扼三江，地理位置非常重要。古代控制大别山地区，就有了居高临下的优势，武汉、合肥、九*无险可守，江汉平原和江淮地区轻松可定，威胁长江下游的南京。
李白曾登上大别山主峰观景，发现南北两侧景色迥异，感叹道：“山之南山花烂漫，山之北白雪皑皑，此山之大果别于他山也！”
从长江最长的支流汉江东进，进入长江后，便可望见大别山。宋朝彭天益的《大别山》：“江汉西南万里来，双流合处耸崔巍。”
