所以这篇内容我不会写那些网上一搜就会搜到10篇有9篇一样的小红书算法内容，同样和上篇内容一样做不到通俗易懂，甚至枯燥，看了不知所云。但相信我，看完你们会有很大的收获。也许业务中的一些小的问题终于得到确认，可能看待小红书运营的角度更加的多元化，或者学会了更加具象的思维。
想听刀法、方法论、扯淡的可以点右上角的×了，如果你们想从更底层去一点点认知自己在做的平台，这篇内容如果对你们有帮助那就太好了。我扒了很多论文、论坛以及找来了不少小红书公开演讲的PPT梳理总结，与实际业务相结合，欢迎关注点赞留言。
01很多人经常说小红书算法，大部分人从产品角度出发，少部分人从运营角度出发，几乎没有人从技术角度出发。
算法是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。定向A➡定向B，可能是男性和女性，也可能是国王和皇后。我们应该先解释A和B，而不是讨论怎么从A➡B。
从产品角度出发没有什么大问题，但是有两类大点，即产品的背景及使用。产品的背景包括解决什么需求、具体的使用场景是什么样、目标用户是什么。产品的使用包括体验、UI、美工、交互。我看了大多数人对小红书算法的分析，是从UI角度出发，即使用者界面出发，其实是相当不准确或者说浅层次的。
从UI角度出发，抖音和小红书相似程度是非常高的。抖音的首页-推荐、关注、同城和小红书的首页-发现、关注、同城基本一致，消息页和我的页面也基本一致，那么算法和逻辑就一致吗？
差的太多了，反映到结果上，我们抖音和小红书同样的都做了200万粉左右，一个基本没有任何变现，一个收益很高。后来我们反复复盘，平台就像那些年我们追的女孩子，没有人永远年轻，但总有人正在年轻。即使运营了很多年，我们对当初的这个女孩也时常感到陌生。而平台也总会诞生新的机会，给后来者遐想空间。
话不多说，让我们简单的梳理小红书算法。不少段落取自ArchSummit深圳演讲-赵晓萌（小红书算法架构师，负责机器学习应用）、2019阿里云峰会·上海开发者开源大数据专场小红书实时推荐团队负责人郭一的发言、以及秦波（推荐引擎北京工程负责人）、马尔科（小红书大数据组工程师）的帖子/PPT。如有侵权，联系修改或者删除。
小红书社区是一个分享社区 电商的APP，分享社区通常意义上都是以女性为主，少量话题引导。每天平台生产的内容，要如何转发分发给用户，让用户看到用户想看的，这是算法需要解决的问题。
对于小红书来说，社区提供用户黏性，为电商引流，电商把这部分流量变现，在APP里形成闭环，社区和电商互相推动。对于算法团队来说，有社区的用户数据，有用户在电商版块的行为数据，如何把两边的用户行为连接起来，更好的理解用户，是算法的根本出发点。
现在大家普遍认可的都是下面这个流量分发模型，系统根据用户互动效果进行评分的体系是CES。实际上太笼统了，CES评分也不知道是出现在整个推荐流程中的第一步、第二步、第三步，还是反复计算。接下来我会通过具体的一些案例，从技术的角度去解释。
如果有看过我上篇讲搜索流量的小伙伴应该有印象，一篇笔记的搜索流量相对稳定占位，而推荐流量是笔记成为爆款的核心。小红书线上推荐的流程主要分为三步：
- 从小红书用户每天上传的笔记池中选出候选集，通过各种策略从千万条的笔记中选出几千个候选集进行初排。
- 在模型排序阶段给每个笔记打分，根据小红书用户的点赞和收藏行为给平台带来的价值设计了一套权重的评估体系，通过预估用户的点击率，评估点击之后的点赞、收藏和评论等的概率进行打分。
- 在将笔记展示给用户之前，选择分数高的笔记，通过各种策略进行多样性调整。
那么小红书是如何从每天的笔记池中选出候选集进行初排的呢？
小红书的内容图文并茂，用户产生的内容图片多，质量很高。用CNN（卷积神经网络）提取图像特征，用Doc2Vec（文本到向量模型）提取文本特征，通过一和简单的分类器就能把用户分到主题中，而主题是人工标定的上百上千个主题。这是初排。
03CNN和Doc2Vec具体是怎么提取笔记进行分类的？
关于图片的识别，小红书是一个非常视觉的社区，图像很多，小红书用图像提取特征就已经能达到良好的效果，准确率大概是85%时覆盖率能达到73%左右。加上文本以后效果更好，准确率达到90%，覆盖率达到84%。
图片这是第一个在内容创作中需要注意的地方，对图像的夸张识别到什么程度？
我们有一次发幼儿、中小学的教育案例，拍到了角落翻开来的书上关于母婴胎教类的两行字，肉眼都看不清，违规发警告说涉及到婴儿遗传等敏感内容，账号不被推荐3天。后来反复查找原因，才发现这个问题。
这里再举一个更常见的例子，涉及到了GBTD模型里的机器深度学习。小红书上流行分享治痘，有很多脸上有很多痘痘怎么治好的笔记，怎么把这些观感其实不适的内容推荐给要看的人是一个问题。
当小红书尝试用CNN model做这个事的时候，发现无论照片是全脸漏出、半脸、1/4脸甚至只有少量的脸部器官，都可以很好地识别甚至识别图里的文本，对反作弊有一定的帮助。所以，不要在图片上进行任何夹带私货，图片识别 图片文本识别，基本上准确率有90%。
再讲一下文本的向量表示，文本的向量表示有非常多种，其中一个比较有名的向量表示叫做Word2Vec，是Google提出来的。它的原理非常简单，其实是一个非常浅的浅层神经网络，根据前后的词来预测中间这个词的概率，优化预测的时候模型就得到了词的向量表示。
同样的这个词的向量表示在空间里也是有意义的，相似的词也处在相近的空间里。这个模型比较有意思的是，把向量拿出来随时可以做向量运算。
女人到男人之间的那个指向的向量，和皇后到国王之间是一样的，所以我们知道其中三个，就能算出另外一个。假如我们的笔记重点是“自驾”和“露营”，Word2Vec会据前后的词来预测中间这个词的概率，可能是装备、路线、西藏、过夜、海边、周边、攻略，推送到对应的用户页面。
04 用户画像和笔记画像是什么？在算法中扮演什么角色？
1. 小红书推荐预测模型已经演化到了GBDT Sparse D&W的模型
主要有9个预测任务，包括click、hide、like、fav、comment、share、follow等。点击、保持、喜欢、评论、分享、关注。点击是小红书最大的模型，一天大概产生5亿的样本进行模型训练。GBDT模型中的笔记分发，有非常多的用户行为统计，产生了一些静态的信息和动态特征，用来描述用户或者笔记。
通过用户画像和人口统计信息来描述用户，比如性别年龄这些静态信息。笔记分作者和内容两个维度，比如作者打分、笔记质量、标签、主题。动态特征虽然不多，但是非常重要。
动态特征包括用户在浏览和搜索中有没有点击、有没有深度行为等类似的用户反馈。这些交互的数据有一个实时的pipeline从线下直接放到线上的模型里，在线上会利用这些数据对点击率等交互质量的指标进行预测，然后根据用户和笔记的隐形分类进行推荐。
2. 关于动态特征的提取，小红书用的是Doc2Vec模型，也叫做相关笔记
相关笔记的要求是什么？推荐的笔记和用户在看的笔记，最好讲的是一个东西。比如说同一款口红、同一个酒店、同一个旅游城市、同一款衣服，可能不是一个酒店，但是是类似的酒店。
可能不是同一个旅游城市，但可能是类似的旅游城市，是不是很难理解？那我们再具体一点，我如果看的是亚特兰蒂斯这种级别的酒店，那么小红书就不会给我推荐格林豪泰，而是类似同等级别的酒店。如果我经常搜的是雪山/草原/沙漠，那么就不会给我推荐上海/北京/广州这种人文和城市景观突出的地方。
有一点需要注意的是，TFIDF model 虽然基本要求词是一样的，但它可以把一类笔记找出来，就是讲用户心理、描述用户心情的笔记，因为用户描述心情用的词汇很接近，所以这个方法也会把扩展的内容找出来。“绝绝子”是非常明显的一个语气词或者形容词，在小红书有461万 篇笔记。
最核心的实时归因场景业务，是如何制作用户的行为标签的？
用户画像比较简单，不会存在过多的状态，而实时归因是整个实时流处理中最关键的场景。实时归因将笔记推荐给用户后会产生曝光，产生打点信息，用户的每一次曝光、点击、查看和回退都会被记录下来。
