玄武湖最早的时候只是一块被称作“桑泊”的沼泽湿地，直到南朝刘宋年间，才得以叫玄武湖。
相传南朝刘宋年间，因天气大旱皇帝就命人到湖中献玉求雨，宝玉刚被投进去，湖里突然窜出一条黑龙，吞玉升天。而后又把美玉吐了出来，猛砸湖心，玄武湖被砸开了一个大洞涌出水来，瞬时白浪滔滔，干了几个月的金陵，从此便风调雨顺了，因而改称为“玄武湖”。
玄武是中国古代神话里的四灵之一，是北方之神，尚黑色。其实，推测起来，当时出现的黑龙极有可能是扬子鳄，只不过人们不认识这种动物，就依照外形叫做黑龙了。
玄武湖曾经还是训练和检阅水军的军事基地，陈宣帝陈顼曾阅兵于上林苑大壮观山，五百多艘战船旗帜招展，十万精兵列于船上，场面相当壮观，现在还可以到玄武湖古阅武台感受当年的盛况，一览开阔的玄武湖湖面。
历史上的玄武湖，北接红山，西邻狮子山，南至鼓楼岗，几乎占了今天南京北城区的一大半。
为什么现在的玄武湖只有曾经的三分之一呢？很多南京人都不知道，玄武湖曾经消失了约300年，直到经过元朝的疏浚工作，玄武湖才重新在南京版图上出现。而说起这段历史，就要提起大名鼎鼎的北宋宰相王安石。
王安石二次出任江宁府尹时，便遇上了难题：玄武湖淤塞已久，若弃置不用，可惜；若疏浚复湖，又非一日之功。怎么办？他选择了“泄湖为田”，从此南京城遇雨成灾的恶梦挥之不去。
直到明朝朱元璋定都南京，南京第一次成为真正意义上的大一统王朝的帝国首都。
出于军事角度，朱元璋认为玄武湖还是有用的，他在玄武湖边上修了明城墙，在十字河南面修建了武庙闸，这才提升湖面使与世隔绝了300年的玄武湖得以重见天日，但面积却只有当年的三分之一了。
不过也有人说玄武湖中的黑龙一直想跟紫金山的龙脉汇合吸取龙气，朱元璋为了镇压黑龙以巩固皇位就拿自己的脸为造型建了明城墙，而玄武湖正是他的前额，也有人说是眼睛，仔细看看还真是这么回事，当然这只是民间的一种传说而已！
