崂山下清宫，有一株耐冬树，两丈高，几抱粗；还有很多牡丹花，其中一株牡丹，一丈高，开花艳丽，像一团绸缎。
有个书生姓黄，在道观借住，就住在牡丹花附近。
一日，黄生正在读书，心中有感，抬头向窗外看去，只见一个白衣美女在花丛中走动。
黄生奇怪，便出来找那美女，没找着。随后几天，他又看到那美女，可都没追到，他实在好奇，就躲在树从里，等美女再出现，他直接跳出来想跟美女说话。
不过这次白衣美女不是一个人，她是和另一个红衣美女一起走的，两人看见黄生跳出来，吓得尖叫一声，扭头就跑，只留下一阵香气。黄生赶紧追，可惜那两个美女跑到太快，他追了一阵也没追上。
黄生叹息着回到自己屋中，没想到，那个白衣美女却面容带笑地走了进来，自我介绍她叫香玉，是被道士关在道观里的妓女。
黄生顿生侠义之心，连问是哪个道士，他要找那道士替香玉报仇。
可香玉却不让黄生去，她说道士只是关着他，并没有欺负她，反而现在能有机会跟黄生聊天很高兴，黄生也没再强求，于是两人开始聊天。
聊天中，黄生还知道那个红衣美女叫绛雪，是她的干姐姐，两人聊得很高兴，便聊了一晚。从此以后，香玉每晚都来和黄生相会，黄生还不满足，还想要绛雪一起，可人家根本不露面。
如此，他们幸福生活了几月，香玉哭啼地来找黄生，说自己要走了，两人将再也不能见面，黄生急问为何，香玉只是哭，不肯说缘由。
第二天，香玉哭泣着离开，依旧没说缘故，黄生气闷在道院中走动，听到道士们说，刚有一个姓蓝的贵人来游玩，看中了那柱高大的牡丹，要挖走。黄生这才明白，香玉应该就是那棵牡丹成精，心中苦闷，却也无可奈何，他只是一介书生，惹不起贵人，更何况如果说出牡丹成精，怕人们当场就要把香玉烧掉。
过了些日子，黄生听道士们说，牡丹被栽到贵人家后，很快就死了。
黄生悲伤难忍，便天天跑到牡丹原来的坑边痛哭吊念。一天，他又去吊念，却看到那个红衣美女绛雪也在吊念，黄生过去和绛雪一起痛哭流泪。
两人哭过，黄生请绛雪到屋中聊天，两人又哀叹了半天，晚上在黄生的哀求下，绛雪和黄生做了夫妻。
过了月余，黄生要回老家，跟绛雪打趣，问她是哪棵牡丹，不如把她挖回家去，免得像香玉一样被别人抢走。绛雪不告诉他，还说花木故土难离，挖了就会死。黄生无法，只得自己离开。
回到家后，待了不长时间，他忽然做了一个梦，梦到绛雪愁容满面找他，让他赶紧回道观，因为他大难临头，再不来连最后一面也见不到了。
黄生醒后，担心万分，赶紧备马，一路疾驰，日夜不歇赶到道观。只见道观正在盖房子，要打地基的位置正是那棵高大的耐冬树，道士们见碍事，准备指挥工匠砍掉。
黄生明白这耐冬定然是绛雪，赶忙阻止，好在他在道观居住很久，供奉也多，道士们也就卖他个面子，改了房子方位，让开耐冬树。
夜晚，绛雪到来感谢，黄生调笑：“这下我知道你的位置了，你不来找我，我就用艾草烤你。”
绛雪叹息，说自己本性冷淡，就是怕黄生纠缠，才不愿说的，没想到还是让他知道了。两人待了一会儿，又想起香玉，便一起去香玉坑边痛哭惦念。
接下来，黄生又开始在道观居住读书，绛雪是有时来，有时不来，黄生不愿强求，也没去耐冬树下烤她，只是更想念香玉。
这日绛雪笑着进来，告诉黄生一个好消息，花神被黄生感动，让香玉再次降生到道观。
黄生连问什么时候，绛雪说不知道，可能是最近，不过肯定还是要在原来的坑里。得知消息，黄生兴奋异常，天天跑到香玉的坑边看，可一直没有动静。这些天绛玉也没来，黄生便跑到耐冬树下抱着树，抚摸，低声呼唤绛雪，没有动静。黄生着急，就跑回自己屋中，找出一把艾草准备去烤绛雪。
正准备出门，绛雪跑了进来，抢过艾草扔在地上，冷着脸说：“你要干嘛，准备给我烫个疤吗？”
黄生上前抱住绛雪，连忙追问香玉的事，没等绛雪说话，香玉却已笑着走进来。黄生激动得热泪盈眶，过去拉住香玉的手，绛雪也过去拉手，三人痛苦流泪，互相诉说离别的相思。
相处一会儿，黄生发现香玉跟以前不一样，能看到，却摸不实，如同影子一样。香玉解释她以前是花神，有形体，现在只是花鬼，所以没有形体，要想让她如原来一样，需用草药兑水，每天浇灌她原来的坑，一年后就能如愿了。
按香玉的嘱咐，黄生每天浇水，坑里果然发芽了，还每天都在长大。香玉也每晚都来找黄生玩，但没有形体，黄生就有点想绛雪，可怕惹绛雪生气，也不敢用艾草烤。好在香玉听后一笑，说自己有法，便领着黄生来到耐冬树下，用手在树上量了半天，找到一个位置，让黄生给树挠痒痒。果然有效，一会儿功夫，绛雪就跑出来笑骂香玉助纣为虐，为色忘友。
香玉的嫩芽一天天长大，一年后，牡丹生出一个花骨朵，黄生站在花旁观看时，花苞微微晃动，花瓣一片片张开，整朵花绽放，花色雪白，大如脸盆，花蕊中还坐着一个小美人。
花朵完全盛开，小美人从花中跳下，转眼间变得跟成人大小，正是香玉，于是香玉和黄生天天住在一起。
然后，黄生也不再回家，天天住在道观，十多年后病死在道观。
临死前他对相熟的道士说，白牡丹旁边会再生出一棵牡丹，那就是我，请帮忙照料。
他死后，白牡丹旁边果然长出一颗牡丹，长得跟白牡丹一边高，但是从来不开花。跟他相熟的道士相信了黄生的话，仔细浇水照料。
可惜几年后，那个道士病死，其他道士觉得这棵牡丹不开花实在无用，就砍掉了。然后，不久，白牡丹和耐冬树都死了。
