接下来,只需等待十几秒,即可得到最终的高清版卡通肖像。
而且,如果对“美颜程度”不满意,还可以后期调整。
那么,如此神奇的效果,背后的原理是什么呢?
集成两种框架要讲明白VToonify风格转移的原理,就不得不提到StyleGAN,很多图像风格迁移框架都是以这个模型为基础的。
基于StyleGAN的方法也被称作图片卡通化,它将人脸编码到潜在空间中,然后再将生成的代码应用到被艺术肖像数据集调整后的StyleGAN,最终生成不同风格的肖像图。
重要的是,它可以生成1024*1024高分辨率的图像。
但StyleGAN在调整肖像的风格时,需要在固定的尺寸下进行,而且不完整的面孔以及一些奇怪的手势都会对它的效果产生影响,因此StyleGAN对动态肖像是不太友好的。
这时,就需要再介绍另外一种图像转换框架了——采用卷积网络的图像转换框架,它能够很好地忽略在测试阶段图像大小和人脸位置的限制 (与StyleGAN完全互补了)。
说回VToonify,它集两个框架的大成于一身,成为一个全新的混合框架。
研究人员删除了StyleGAN固定大小的输入特性和低分辨率层,然后创建了创建了一个完全卷积的编码器生成器架构。
具体来说,就是将StyleGAN模型集成到生成器中,将模型和数据结合起来,从而它的样式修改特性由VToonify继承。
并且,作为生成器的StyleGAN对编码器进行训练,可以大大减少训练时间和难度。
值得一提的是,该研究团队在今年3月就曾开发过一款图像风格转移AI:模仿大师(Pastiche Master),基于DualStyleGAN的框架,能够灵活控制风格并修改风格度。