如果白愁飞不是神秘人，真的完全无法解释他怎么会在这个时候能想起“那一次在龌龊的夜色里破碎的衣衫掩不住白晰而瘦小的胴体”。
并且不只是白愁飞想起了那个夜晚，接下来温柔在马上就要与白愁飞发生亲密接触的时候，她也突然想起了那个夜晚：“奇怪的是，此际，她忽然掠过脑海的是： 暗夜。 秽巷。 泥墙边的那一场强暴”.
到了后面，雷纯帮助苏梦枕反攻白愁飞，在金风细雨楼里，雷纯当面揭穿了白愁飞，白愁飞对于当初他说犯下的这些恶事全都供认不讳：“我做了又怎样？！你早已是我的人了，我说什么也是你的入幕之宾，你敢谋*亲夫不成？”
由此可见，截止到这个时候为止，书中龌龊巷里的神秘人应该就是白愁飞。
不过可能是由于白愁飞这个角色的人气越来越高，作者在后面的作品里面，又推翻了白愁飞就是神秘人的设定。
于是很多读者开始纷纷猜测这个神秘人到底是谁？有的读者认为这个神秘人是天下第七，不过在天下第七临死的时候，唐能曾问过他这件事，不过他否认了，他说如果哪天晚上是他的话，那么他一定会先对温柔下手。
天下第七在说这些话的时候，马上就要死了，所以他应该也没有说谎的必要。
排除了天下第七之后，又有人怀疑这个神秘人是方应看，不过方应看在书中是这样说的：“其实，雷纯事件摆明是白愁飞*。但人人都不信是他，不希望真的是他。”
如果说是电视剧中的方应看，没准他真的能够干出这种事，但是在书中方应看的人设与剧中完全不同，虽然都是心狠腹黑之人，但是在书里的方应看并不像剧中那样贪图美色。
综合以上来看，书中的这个神秘人最合理的人选应该就是白愁飞，杨无邪是金风细雨楼的大总管，是整个京城武林里面最厉害的谍报头目，他对白愁飞的评价是：“白愁飞一直到死前，仍是放荡不羁、风流成性的人。”
但是在电视剧中，由于白愁飞几乎被完全洗白，所以结合剧情来看，这个神秘人则很有可能是方应看。
