数据整理后进行模型训练,训练过程中有一类数据需要特别关注,如下图所示,模型很难识别差异很小的不同人物与差异很大的同一人物,这种现象在实际的视频中是很常见的一种情况,如何解决这一难点?在实际工程中,我们可以有针对性在模型本身或测试标准上进行特殊处理。
这里借鉴了上述真人识别方法中的一些损失函数,如 Softmax、SphereFace、CasFace、ARCFace等,不断使类内分布更紧密,类间分布差异更大,提高实践应用中判别的准确性。
此外,利用真人数据与卡通数据进行融合来弥补虚拟人物数据不足的现状。如下图中A表示融合之前,B表示与真人人脸融合之后使卡通人物的分布更紧密,同时拉开类间距离,实验数据上也证明了方法的有效性。
相关论文暂未发表,请大家后续继续关注我们的消息。
通过两年的积累,目前爱奇艺基于真实场景中视频任务的多模态数据库已经成为业内首个多模态数据,并且标签清晰,规模最大,致力于给大家的研究工作提供更多的帮助。