由于冷启动的 DSSM 模型只用于对冷门或新歌曲进行推理，我们发现对用户的 BIAS 进行建模非常重要，因为我们不能保证所有用户都喜欢冷门或新的 Item。候选集本身是一个非常大的池子，我们需要对用户 Item 进行建模，因为某些用户可能偏爱热门Item，而推荐池中可能缺少他喜欢的 Item。因此，在传统方法的基础上，我们建立了一种称为“兴趣边界”的塔来对用户的偏好进行建模。利用兴趣边界将正负样本分开，训练时，使用兴趣边界分数划分每个用户的正负样本；推理时，比较物品得分和用户兴趣边界得分来决定是否推荐该物品。训练时，我们使用兴趣边界向量和用户兴趣向量进行内积计算来得到边界的表征向量。在上图 loss 基础上，使用传统二分类的交叉熵做建模。负样本会将用户兴趣边界抬高，而正样本会将用户兴趣边界压低，最终，训练后会达到一个平衡状态，用户的兴趣边界将正负样本分开。在线上应用时，我们根据用户的兴趣边界来决定是否将冷门或长尾的 Item 推荐给该用户。
03
总结
最后做一个总结。云音乐推荐的多模态冷启建模主要工作包括：
- 特征方面，采用了 CLIP 预训练框架下对多模态进行建模。
- 建模方案上采用了两种建模方案，I2I2U 间接建模和冷启动多模态 DSSM 直接建模。
- Loss & 学习目标上，Item 侧引入了 BPR & 对比学习，User 侧兴趣边界增强冷门 Item 学习和用户学习。
未来优化主要有两个方向，一是使用内容和行为特征多模态融合建模，另一个是召回和排序全链路优化。
04
问答环节
Q1：音乐冷启动的核心指标是什么？
A1：我们会关注多方面的指标，其中比较重要的是收藏率和完播率，收藏率=收藏 PV/播放 PV，完播率=完整播放的 PV/播放 PV。
Q2：多模态特征是端到端训练还是预训练出的？第二步对比视图生成时，输入 x 具体是什么特征？
A2：我们目前采用的方案是基于 CLIP 框架进行预训练，并使用预训练得到的多模态特征来为下游的召回和排序业务提供支持。这是一个两阶段的预训练过程，而非端到端的训练。虽然从理论上讲，端到端的训练可能会更好，但与之相对，对机器的要求和成本也会更高。因此，我们选择进行预训练，这也是基于成本方面的考虑。
x表示歌曲的原始特征，包含歌曲的音频、文本多模态特征以及语种曲风等标签类特征。这些特征经过分组和 2 个不同的随机变换 F’a 和 F’’a 得到 x’ 和 x’’。f 是 encoder，也是模型的主干结构，g 加在 encoder 输出之后的一个 head，仅用在对比学习部分。
Q3：对比学习训练时两组增强的塔的 embedding 层和 DNN 都是共享的吗？为什么对比学习对于内容冷启动有效，是会专门针对非冷启动内容做负采样吗？
A3：模型始终只有一个 encoder，也就是一个塔，因此并没有参数是否共享的问题。
至于说为什么会对冷门的 item 有帮助，我是这么理解的，因为并不是对冷门 item 去做额外的一些负采样之类的工作。其实如果只是单纯的在监督学习这个基础上去学习歌曲的 embedding 表征，可能会导致偏差，因为学习的是 CF 的数据，还是会出现热门歌曲学得多的问题，最终 embedding 向量也是有偏差的。通过引入对比学习机制，在最终的 loss 引入对比学习的 loss，它是对学习 CF 数据的纠偏过程。因此，通过对比学习的方式，是改善向量本身空间分布，并没有去对冷门的 item 去做额外的处理。
Q4：兴趣边界那里是多目标建模吗？看起来又不太像，可以介绍一下 ⍺ 和 p 这两个量吗？
A4：多模态 DSSM 建模中包含一个 ItemTower 和一个 UserTower，然后在UserTower 的基础上，我们去对 user 特征额外建模了一个塔称之为兴趣边界塔。这三个塔分别输出一个向量，在训练时，我们会对 item 向量和 user 向量进行内积，得到 item 得分，然后将 user 向量和 user 的兴趣边界向量进行内积，表示用户的兴趣边界得分。参数⍺ 是一个常规的样本加权参数，用于平衡正负样本对loss的贡献比例。p是item最终得分，计算方式为…将 item 向量和 user 向量的内积得分减去 user 向量和 user 兴趣边界向量的内积得分，并通过 sigmoid 函数计算得到的最终得分。在计算过程中，正样本会把 item 和 user 的内积的分数拉高，把 user 和 user 兴趣边界的内积得分降低，负样本反之。理想情况下，user 和 user 兴趣边界的内积得分可以划分正负样本。在线上推荐阶段，我们使用兴趣边界作为参考值，将得分更高的 item 推荐给用户，而得分较低的 item 不予推荐。如果一个用户只对热门 item 感兴趣，那么理想情况下，这个用户的边界分，也就是他的 user 向量与他的兴趣边界向量的内积会非常高，甚至高于所有的冷启动 item 得分，因此不会向该用户推荐一些冷启动的 item。
Q5: 用户塔（userTower）和兴趣边界塔在结构上有什么区别，看起来输入似乎是一样的？
A5：二者输入确实是一样的，结构也是类似的，只是参数不共享。最大的区别仅体现在 loss 的计算上。用户塔的输出用于与 item 塔的输出做内积计算，得到的是 item 得分。兴趣边界塔的输出与用户塔的输出做内积计算，得到的是边界分，训练时二者相减后参与二分类 loss 的计算，推理时比较二者的大小来决定是否将这个 item 推给用户。
以上就是本次分享的内容，谢谢大家。
