大家都比较熟悉这种表情包,爱奇艺这项技术实现了业内首个表情和文案的自动生成。一个长视频平均能提取出来100多个明星表情包,文案也是自动生成的。除了明星,我们也在做卡通人物相关的实验,可以做到40多个表情包。
目前生成对抗网络的应用较多,比如GAN生成的人脸非常逼真,其实生成的人脸虽然在某些样本上取得非常逼真的效果,但目前在标题自动生成、画面自动生成领域都还没有十分成熟。举例来说,生成卡通形象,有些生成的很好,但有时鼻子就跑到脑袋上了。
爱奇艺表情文案生成采用了配准的方式。对于明星表情包,我们首先检测出他的Action Unit,然后将AU的特征向量与GIF库中的特征向量配准,再根据颜值、性别等信息,把相应GIF上的文案放到明星的表情包上。配准的效果要好很多,不会出现特别怪异的文字或画面。
爱奇艺人脸识别的应用
爱奇艺有海量的明星资源,需要把视频的信息结构化,需要知道视频里人物的相关信息。下面分享几个应用场景。
“爱创媒资系统”应用于后期制作,“艺汇”可应用于导演智能选角。这两个应用在2018年分别获得CCF科学技术进步杰出奖和优秀奖。
举例说明:
AI剪辑师综艺的制作方式:有几个人在舞台上跳舞,台下有很多机器进行拍摄,而拍摄的视频资源跟节目资源比例大约是1000:1以上。也就是说你看到的一个小时的节目,后期制作人员要处理一千个小时以上的视频素材。因此后期人员如果想在这大量的视频素材中找到某个人的一些镜头,非常耗人力、耗时间。而通过人脸识别就可以快速实现某个人的镜头索引,还可以对其表情、首饰等打标签,实现视频编目的自动化。
在爱奇艺APP中,通过“只看Ta”功能,可以实现只看某个演员或者某对CP的功能,这是AI人物识别在爱奇艺的典型应用之一。此外还有助于演员回顾自己演戏的内容。
另一个应用是AI雷达功能,用户在看电视的时候,可以通过按遥控器识别画面中的人物,识别同款服饰、车等实现商品的检测。
智能创作是一个非常综合的AI应用,想要让AI生成一个观赏性很强的视频,需要我们对画面、声音、文本以及画面效果等进行综合分析,才能产出比较有观赏性的视频。
人工剪辑视频,需要在音频素材、音乐类型、海量视频素材中挑选、剪辑,非常耗时,而且不同剪辑师的差异非常大。