StyleGAN2架构
为了实现这一目标,作者在GANs中增加了一个缺失但必不可少的对齐(alignment)步骤。
事实上,它不是简单地对图像进行编码和合并,而是按照不同的分割掩码稍微改变编码,使两幅图像的潜伏代码更加相似。正如前面提到的,它们都可以编辑头发的结构和风格或外观。

我们知道,GANs使用卷积对信息进行编码。这意味着它使用卷积核来降低每一层的信息规模,并使其越来越小,从而迭代地去除空间细节,同时对所产生的输出的一般信息给予越来越多的价值。
这些信息是从不同的图像中提取的,但现在,如何合并这些信息,才使结果看起来逼真些呢?

流程示意图
这是用图像的分割图完成的。更准确地说,是在我们的目标和参考图像的对齐版本的基础上,生成这个想要的新图像。参考图像是我们自己的图像,而目标图像是我们想要应用的发型。这些分割图告诉我们图像包含什么以及它在哪里,头发、皮肤、眼睛、鼻子等。

分割图
利用这些来自不同图像的信息,他们可以在将图像发送到网络进行编码之前,使用基于StyleGAN2的改良架构,按照目标图像结构对齐。
然后,对于外观和光照问题,他们从目标图像和参考图像中找到这些外观编码的适当混合比例,用于相同的分割区域,使其看起来尽可能的真实。
对比一下就知道效果:左是没有对齐的结果,右是本文的方法。
