FU-L1-L1、FU-L1-P、FU-P-L1、FU-P-P 生成的图像
我注意到所有网络似乎对人物的身体结构都有一定程度的高层面理解。举个例子,大和伊织(Yamato Iori)的右眼被头发挡住了,当她闭眼时,任何网络都不会去移动她的头发。但是,我们也观察到一些因为图像解析不正确而导致的失败案例。比如夜樱多摩(Yozakura Tama)有一条挂在身前的长发辫。所有网络配置都将其看作是两部分,在移动头时仅移动了其中的上部分。衣服和配饰也可能被误认为是头部的一部分,见下图。
由于图像解析不正确而导致的失败案例
总的来说,FU-P-L1 和 FU-P-P 应该是最佳的网络配置,因为它们能在不产生大规模伪影的情况下生成基本上清晰的输出。FU-P-P 生成的图像更清晰,但却有棋盘状伪影,FU-P-L1 得到的结果更模糊但更平滑。但这两个网络在解析输入图像时都可能出错,从而得到身体结构/物理结构上不可信的动画。
绘制动画本项目的最终目标是将非 3D 渲染的图画变成动画。我使用最佳的网络 FU-P-P 评估了我的方法的表现,评估使用了 Nijisanji 旗下虚拟主播的动漫图像和 Waifu Labs 生成的人物。下面展示了 16 个人物的动画:
因为网络是在渲染过的动画人物上训练的,所以他们能很好地应用于同一艺术风格的绘画。需要指出,网络在处理眼睛方面的表现尤其好。对于大多数人物,他们都能正确地闭上眼睛,即使眼的一部分被头发遮挡时也是如此。
GANimation 论文:https://www.albertpumarola.com/research/GANimation/index.html
根据外观流实现目标旋转的论文:https://arxiv.org/abs/1605.03557
完整版博客介绍:https://pkhungurn.github.io/talking-head-anime/