到了院子门口，门所得严严实实的，还打有封记，里面则是一片荒芜，显得十分清寂。
问左右邻近的人，又果然是桂公家的旧宅，那些人说，那宅子已十多年没有人居住了，近来听说桂公准备告老还乡，回归田里，想要重新修理旧宅，只是还没有回来。
黄玉山又问：“几个月前，他家的女儿曾经回来过吗？”
那些都说：“没见到。”
黄玉山怅然若失，知道相伴自己是鬼魅，即使是鬼魅，心里对她也是恋恋不舍，无法忘记。
荣城本来就已靠近了海边，黄玉山举目无亲，也没有来帮助，想要回去，只能一路讨饭，路上疲惫难忍，一个多月，才到达济南，又开始画画拿到集市上去卖，挣得一些钱勉强度日，仅仅能让自己有口饭吃，然而衣服只能穿着那些粗布麻衣。
重一陽一节那天，济南千佛寺有很多女子到那里去游览，黄玉山也随着众人到那里去游玩。
看见一个女子手里拿着一张红叶，正准备上车而去，然而揭开帘子的时候，频频看了黄玉山几眼。
起初的时候，黄玉山没有在意，等他刚明白过来，而车子早已走了，想着女子的神态面容，越想越觉得是非非。
黄玉山追上去，只见四周夜色已经降临，四周一片弥漫。
正在那里踌躇，便捡到一张红叶，上面有一首用发钗刻成的诗：“莫非非即是，今既是非非。
既识非非是，非非是耶非”
黄玉山读着不觉流下眼泪，怎么也要赶上去寻找非非的踪迹，远远地看着车架已驶入了山谷之中。
黄玉山也顾不得道路崎岖，颠簸着走进山里去。
大约二更天的时候，来到一个村子处。见一户人家，屋子四面都是石块砌在成的，并且墙面凹凸不平，也不见有什么灯火，只有门后面有一盏闪烁着的灯火，里面坐着一个老叟。
黄玉山走进去，询问那老叟：“刚才有一架车子，是到哪里去的？”
老叟听了他的话黄玉山顿时口塞，不知道怎么回答，过了好一会儿，才说：“我迷路了，想来跟着来借宿。”
老叟注视着黄玉山看了几下，说：“老夫不是开旅店的。”把黄玉山赶出门，就把门关上了。
黄玉山不得已，就盘腿坐在门前的地上。
凉风之中带着霜气，夜里石块也冷了下来，黄玉山想着非非，便捧着红叶呜呜地哭了起来，像清液里野草中的虫子鸣叫一样，让人感到凄凉。book.sbkk8.coM
门忽然开了，一个女子撑着灯笼出来查看，灯光照到黄玉山的脸上，女子道：“你不是黄郎吗？”
黄玉山正准备站起来相认，然而，灯火已经灭了，已看不清眼前的女子是不是非非了。
黄玉山拉着女子，还想要哭泣，女子道：“不要悲戚，要是哭出声来，你就没命了。”
女子拉着黄玉山悄悄地走进屋去，室内的桌子上有一盏灯，黄玉山看清了女子正是非非，便泪如雨下，眼泪大颗大颗地流了出来，已没有勇气抬起头来多看非非几眼了。
非非拉着他，也哭泣着道：“一奴一家辜负郎君了！郎君自己不长进，不知道自立为人，只凭着一点技艺，到处碌碌无为，这怎么能成一个家呢？所以，才让你遭受这一场灾厄。我也不是什么太守的女儿，因为可怜你孤苦无依，因此才冒名相伴在你的身边。实在是想成就你的好事，你为何自愿甘心暴弃，而一浪一费时光呢？就算我和你厮守终身，一生也不过是一个画士的妻子，这有什么贵气的呢？”
黄玉山对她说自己后悔了。
又听到有人在敲，老叟已走出去了，女子一下又把等吹灭了。
黄玉山问为什么，女子叫他不要出声。
黄玉山从窗的缝隙中看见外面，看一个戴着紫金高冠的男子进去，看样子，好像是尊贵的官员，直接走到了厅堂中。
女子指着黄玉山，用脚踩了两下地面，说：“那是小一姨的夫婿。你和他相比起来，不是相形见绌了吗？”
于是，用袖子掩着脸隐隐哭泣起来。
黄玉山轻轻地说：“从此，我愿意自立，再也不让你蒙羞了。”两人才共枕而眠，各自倾诉别离之情。
黄玉山朦朦胧胧地就睡去了。
等他醒来的时候，屋舍人影都不见了，只有他一个人躺在石块上，大吃一惊，立即坐起来，发现身旁有一轴画卷，和一锭黄金，画就是他所画的那幅太守女儿的画，黄玉山看着画，感到无限幸好，还留有金子给他，可以备办行装立即回家去。book.sbkk8.cOm
黄玉山回到住处，把金子换成了钱，就上路回去了。
回去之后，发奋读书，考取功名，不再说画画的事了。
也时常把非非的画像挂在屋子里，把她当做老师在一旁监督他一样，常常读完书之后，就对着画像大哭，大哭过后，又立即读书。
在乡试、会试中连连高中，最后进入京师，进入翰林院为官。
有一个山东的张进士，和黄玉山一同被录用，他知道黄玉山还没有娶妻子，想要把桂家的表妹嫁给他。
黄玉山问那女子的里居，果然是荣城桂公的女儿，觉得很奇怪，就答应了。
原来，桂公任期满了之后，去京师办理高老退休的事，在京师也拜见了张家的表兄张公，因为担心荣城，地处偏僻，找不到好女婿，就摆脱他给自己的女儿选个夫婿，并把女儿非非留在了京师。
一天，非非和众姊妹出奇华门去游玩，泛着小舟，到河里游乐。
忽然岸上有一个女子呼叫她们，想和她们一起渡船，非非一行便把船靠过去，让那女子上去。
女子上了船，忽然就不见了，众人都感到很奇怪。
回去之后，非非的动作神情，顿时就改变了，变得异常的机灵，读书作词，当时造诣高深的行家，对她也刮目相看。文词书章，拿来考察她，都不能考倒她。
和黄玉山订好亲之后，就选择了一个好日子成亲，张公给非非办理婚事。
黄玉山到门去迎娶，锣鼓喧天，异常热闹。
黄玉山迎娶非非回去之后，一交一拜行礼，进入新房，揭开非非的头巾，看非非和前面的非非没有什么差别，尽管他想眼前的非非不是前面的非非。然而，不知道现今的非非，到底是不是前面的非非呢？他也分辨不清楚。
新婚之夜，非非见到了画像，说：“画还是和原先一样，恐怕黄金早花费完了。”
黄玉山听了她的话，感到很惊讶，她怎么知道前面那假非非的事，便问道：“你是非非呢？还是不是非非？”
非非含笑对他说：“非非要是不是我，我怎么知道非非呢？我实在不是非非，我本来就知道非非的事。”
黄玉山也糊涂了，不知道她说的是哪一个非非，就拿以前的事来问她，雨夜同一床一而眠，楼上督促他读书，以及在山谷中留给他金子的事，非非都能清清楚楚地说出来。
黄玉山又详细地追问。
非非道：“我和你初次相见的时候，见你落笔绘画的时候，凝思不已，心里已被你感感动了，因此，情情思就移到了画上，等和你一起骑马逃走，也是心里想的事，把自己的情黄玉山才不再有什么话说。
后来，非非回荣城看望父母，她的父母也不能分辨，问起闺中幼小时候的事，也都记得清清楚楚。