图 2.1：发际线调整前后对比图
图 2.2：发际线调整对比图
头发生成任务面临的挑战
头发编辑作为一般的生成任务，在落地实践过程中仍面临以下几个亟待突破的关键技术瓶颈：
- 首先是生成数据的获取问题。以刘海生成任务为例，在生成出特定款式的刘海时，一个人有无刘海的数据是最为理想的配对数据，但这种类型的真实数据获取的可能性极低。与此同时，如果采用针对性收集特定款式刘海数据，以形成特定属性非配对数据集的方式，那么获取高质量且多样式的数据就需要耗费较高的成本，基本不具备可操作性；
- 其次是高清图像细节的生成问题。由于头发部位拥有复杂的纹理细节，通过 CNN 难以生成真实且达到理想状态的发丝。其中，在有配对数据的情况下，虽然可以通过设计类似 Pixel2PixelHD[1]、U2-Net[2] 等网络进行监督学习，但目前通过该方式生成的图像清晰度仍然非常有限；在非配对数据情况下，一般通过类似 HiSD[3]、StarGAN[4]、CycleGAN[5] 的方式进行属性转换生成，利用该方式生成的图片不仅清晰度不佳，还存在目标效果生成不稳定、生成效果不真实等问题。
针对上述情况，MT Lab 基于庞大的数据资源与突出的模型设计能力，借助 StyleGAN[6] 解决了头发生成任务所面临的配对数据生成与高清图像细节两大核心问题。StyleGAN 作为当前生成领域的主要方向—GAN（生成式对抗网络）在图像生成应用中的主要代表，是一种基于风格输入的无监督高清图像生成模型。StyleGAN 能够基于 7 万张 1024*1024 的高清人脸图像训练数据 FFHQ，通过精巧的网络设计与训练技巧生成清晰逼真的图像效果。此外，StyleGAN 还能基于风格输入的方式拥有属性编辑的能力，通过隐变量的编辑，实现图像语意内容的修改。
图 3：基于 StyleGAN 生成的图片
美图基于 StyleGAN 的头发编辑方案
1. 配对数据生成
StyleGAN 生成配对数据最为直接的方式就是在 w 空间直接进行相关属性的隐向量编辑，生成相关属性，其中隐向量编辑方法包括 GanSpace[7]、InterFaceGAN[8] 及 StyleSpace[9] 等等。但是，这种图像生成方式通常隐含着属性向量不解耦的情况，即在生成目标属性的同时往往伴随其他属性（背景和人脸信息等）产生变化。
因此，MT Lab 结合 StyleGAN Projector[6]、PULSE[10] 及 Mask-Guided Discovery[11] 等迭代重建方式来解决生成头发配对数据的问题。该方案的主要思路是通过简略编辑原始图片，获得一张粗简的目标属性参考图像，将其与原始图像都作为参考图像，再通过 StyleGAN 进行迭代重建。
以为头发染浅色发色为例，需要先对原始图片中的头发区域染上统一的浅色色块，经由降采样获得粗略编辑简图作为目标属性参考图像，在 StyleGAN 的迭代重建过程中，生成图片在高分辨率尺度下与原始图片进行相似性监督，以保证头发区域以外的原始信息不发生改变。
另一方面，生成图片通过降采样与目标属性参考图像进行监督，以保证生成的浅色发色区域与原始图片的头发区域一致，二者迭代在监督平衡下生成期望中的图像，同时也获得了一个人有无浅色头发的配对数据（完整流程参考下图 4）。
值得强调的是，在该方案执行过程中既要保证生成图片的目标属性与参考图像一致，也要保证生成图像在目标属性区域外与原始图片信息保持一致；还需要保证生成图像的隐向量处于 StyleGAN 的隐向量分布中，才能够确保最终的生成图像是高清图像。
图 4 ：染浅色头发 StyleGAN 迭代重建示意图
此外，基于该方案的思路，在头发生成领域还能获取到发际线调整的配对数据（如下图 5）、刘海生成的配对数据（如下图 6）以及头发蓬松的配对数据（如下图 7）。
