其时，玄武湖侧有青山环抱，满眼青翠。湖北直抵幕府山下，那里有皇帝的猎场。经过此湖，既可以泛舟湖上，又能在湖侧纵马射猎，的确令人流连忘返。而湖中的绿洲掩映于碧波青山之间，湖南的长堤上遍植垂柳，传说当年梁武帝的昭明太子就在长堤所通的湖中小岛上设别馆，召集当时著名的文士，编纂了《昭明文选》。想来当年的玄武湖上，必定是绵绣满眼，书声朗朗，烟雨濛濛，香荷柄柄，单舸采菱，叠舟采莲，渔歌唱晚，柳浪闻莺，江南水乡的旖旎风光，南朝士人的文采风流，均集于此湖之中。也难怪南朝的帝王们会对此流连忘返，左思《三都赋》中有句：“造姑苏之高台，临四远而特建，带朝夕之浚池，佩长洲之茂苑”，从中也可一窥玄武湖当年的繁盛。
据说，昭明太子是在湖中采摘莲花时不慎落水，受惊而亡，年仅30余岁，一代风华顿成绝响。而玄武湖的命运，也随之低落。隋灭陈后，将这里的六朝城市宫苑全部拆毁，唯留下一座石头城作为扬州的州治，后来又将其移至广陵。从此，广陵就被称为了扬州。唐代同样也不断降低此地的地位，甚至将此地的两县划归不远的润州（镇江）管辖。但六朝的繁华不是一纸行政命令就可以抹*的，晚唐时大诗人杜牧到此，依然还看见秦淮河边，红灯绿酒，《后庭花》的歌声还不时传至耳边。
只是玄武湖多承接四周山水，故六朝筑长堤以蓄水，其中鸡鸣埭，十里长堤皆著名。此时无人修缮，致湖水渐涸，满眼荒凉之景。北宋初，丁谓曾再次疏竣湖面，然60年后王安石主张泄湖为田，玄武湖至此消失了200年。只是从此之后，城北蓄水排洪都无着落，使当时的江宁府陷入了无雨则旱，有雨则涝的恶性循环之中。至元中期，玄武湖才得恢复，但面积也只有六朝时的三分之一，而明太祖朱元璋在筑南京城时又将之缩小，使其面积只相当于六朝的四分之一，不再直通长江，唯与金川河相连。
明时将玄武湖中的绿洲辟为黄册府，保存全国的档案。传说有一位毛姓老人以鼠患多来劝谏他，他反以“毛”“猫”谐音，将不肯迁走的老人淹死，还封他为湖神，希望他能帮自己避免鼠患。这仅是传说，但史上的确记载有一位老人建议黄册府库东西向开窗，使日光早晚曝晒，防止受潮。现在发掘的黄册库遗址的确如此，是东西向开窗的。湖边曾经发掘过一枚铜钩，传说是毛老人的衣钩，于是在那里建成了湖神庙。
