3.image-to-image生成
基于StyleGan的迭代重建获得配对数据后,就可以通过pixel2piexlHD模型进行有监督的学习训练,这种image-to-image的方式相对稳定且针对各类环境都有稳定的结果输出。但生成图像的清晰度还无法达到理想的效果,因此选择通过在image-to-image模型上采用StyleGAN的预训练模型来帮助实现生成细节的提升。
传统的StyleGAN实现image-to-image的方式是通过encoder网络获得输入图的图像隐向量,然后直接编辑隐向量,最后实现目标属性图像生成,但由这种方式生成的图像与原图像比对往往相似度较低,无法满足基于原图像进行编辑的要求。
因此MT Lab对这种隐向量编辑的方式进行了改进,一方面直接将原图像encode到目标属性的隐向量,省去进行中间隐向量编辑的步骤;另一方面将encoder网络的特征与StyleGAN网络的特征进行融合,最终通过融合后的特征生成目标属性图像,以最大限度保证生成图像与原图像的相似度,整体网络结构与GLEAN模型非常相似。该方式兼顾了图像高清细节生成与原图相似度还原两个主要问题,由此也完成了高清且具有真实细节纹理的头发生成全流程。
头发生成网络结构
4 搞定了头发,还可以举一反三
这种StyleGAN编辑生成方案也具有很高的扩展性。日后图像编辑和图像清晰度的难题,可以套用头发生成的“三步走”技术。
其中,结合StyleGAN生成理想头发配对数据的方式极大地降低了图像编辑任务的难度,如将该方案关注的属性拓展到头发以外,就能够获得更多属性的配对数据,例如五官更换的配对数据,借此可以尝试对任何人脸属性编辑任务进行落地实践。
五官更换的配对数据:原图(左),参考图(中),结果图(右)
借助StyleGAN预训练模型实现image-to-image的方式能够保证生成图像的清晰度,还可以将其推广到如图像修复、图像去噪、图像超分辨率等等更为一般的生成任务中。