东晋初年，玄武湖被用作封建帝王操练水师的地方，故称“习武湖”。六朝时，又演变为封建帝王的围猎、游乐场所。直到唐朝起，才成为游览区。李白、李商隐、李煜等许多诗人都有描述玄武湖的佳作。南唐灭亡后，李煜被宋太宗捉去，软禁在玄武湖的樱洲，在此期间李煜写下了一首千古绝唱的哀诗《虞美人》：“春花秋月何时了，往事知多少!小楼昨夜又东风，故国不堪回首月明中。
雕栏玉砌应犹在，只是朱颜改。问君能有几多愁，恰似一江春水向东流。”以此寄托他对故国的无限怀念和深切哀愁。北宋神宗时，当朝宰相王安石被罢免回到江宁，在1075年写《湖田疏》上奏朝廷废湖为田，得到批准，从此玄武湖美景不复当日。元代时，重新疏浚玄武湖，使它焕发昔日美貌。
但明朝初年，明太祖又把玄武湖作为禁地，在梁洲上建了“黄册库”，专门贮藏全国户籍、田亩统计册和各地的赋税档案。直到清代，玄武湖又重新开放。曾作为1920_年南洋劝业会的游览地。辛亥革命后，更名为“五洲公园”。这天的玄武湖，经过国林工作者的梳理美化，旧貌换新颜，已初步构成了融山、水、城、林于一体的大型风景式园林，被誉为金陵明珠。