导读 冷启动技术对于推荐系统丰富平台内容生态、提升用户体验等方面都至关重要。本文主要分享云音乐推荐的多模态冷启动技术。
包括四部分内容：
1. 问题背景：冷启动建模的必要性和重要性
2. 技术方案：特征选取、模型建模
3. 总结
4. 问答环节
分享嘉宾｜任俞明 网易云音乐 高级算法工程师
编辑整理｜王鑫民
内容校对｜李瑶
出品社区｜DataFun
01
问题背景：冷启动建模的必要性和重要性
作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的生命周期跨度极长，通常会以年为单位，有些歌曲可能在沉寂几个月、几年之后爆发，经典歌曲甚至可能经过十几年仍然有着极强的生命力。因此，对于音乐平台的推荐系统来说，发掘冷门、长尾的优质内容，并把它们推荐给合适的用户，相比其他类目的推荐显得更加重要。
冷门、长尾的 item（歌曲）由于缺乏用户交互数据，对于主要依赖行为数据的推荐系统来说，想要做到精准分发是非常困难的。理想情况是允许拿出一小部分流量做探索分发，在探索中积累数据。但是，线上的流量又十分珍贵，探索往往容易破坏用户体验。而推荐作为直接对业务指标负责的角色，不允许我们为这些长尾 item 做过多不确定的探索。因此，我们需要做到从一开始就能较为精准地找到 item 潜在的目标用户，也就是零交互记录 item 冷启动。
02
技术方案：特征选取、模型建模
接下来分享云音乐采用的技术方案。
核心问题在于：如何找到冷启动 Item 的潜在目标用户。我们将问题拆解成两个部分：
冷启动 Item在没有用户点击播放的情况下，还有哪些有效的信息可以作为特征帮助我们进行分发？这里我们使用了音乐的多模态特征。
如何利用这些特征来做好冷启动分发建模？针对这一点，我们将分享两个主要的建模方案：
- I2I建模：自引导对比学习增强冷启算法
- U2I建模：多模态 DSSM 用户兴趣边界建模
歌曲本身是一种多模态信息，除了语种、曲风这些标签信息之外，歌曲的音频、文本（包含歌名与歌词）包含了大量的信息，理解好这些信息，并发掘它们与用户行为之间的关联性，是做好冷启动的关键。目前，云音乐平台采用了 CLIP 框架来实现多模态特征表达。对于音频特征，我们首先使用一些音频信号处理的方法，将其进行视频领域的变换，然后使用序列模型如 Transformer 模型进行特征提取和建模，最终得到一个音频向量。对于文本特征，使用 BERT 模型进行特征提取。最后，使用 CLIP 自监督的预训练框架，将这些特征进行序列化，最终得到歌曲的多模态表征。
对于多模态建模，业界有两种做法。一种是将多模态特征放到业务的推荐模型中进行端到端的一阶段训练，但这种方法的成本较高。因此，我们选择了两阶段的建模。首先进行预训练建模，然后将这些特征输入到下游业务的召回模型或精排模型中进行使用。
