乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI
美图秀秀，现在P图新增最新黑科技。
一言以蔽之，不服就GAN（生成对抗网络）。
不仅能够照片模糊、失焦等问题，还能去掉马赛克。
当然，也会顺手帮你美颜。
比如，这是一张20年前的图片，流传至今已经变得模糊了。P图后，效果是这样的：
图片是不模糊了，但是这个美颜效果……Emmm
甚至打上马赛克，它也能给你把皮肤“磨得”相对来说比较平整。
这就是美图最近推出的“老照片修复”功能，能够取得这样的效果，不仅仅只是靠传统P图算法，还用上了GAN。
用GAN来P图
美图的GAN，名为BeautyGAN，由美图影像实验室MTlab研发。
主要用于解决图片被压缩，或者夜拍、抓拍或是抖动造成的照片模糊或者失焦等问题。
修复一张照片通常分两步：人像修复和画质增强。
人像修复
人像修复基本上对人脸进行修复，包括人脸裁框和脸部生成修复。
实现人脸裁框方面，美图舍弃了以往单纯利用眼睛间距来裁切人脸的方式，而采用最小包围盒矩形框来裁切人脸，具体来说是这样的：
先用目前成熟的基于CNN的人脸检测和人脸对齐方法获得图像中的人脸点集，计算其外接矩形，向外拓展得到人脸的裁切矩形。
然后通过人脸的裁切矩形，获得人脸的旋转角度，从原图中裁取摆正后的人脸图像。
脸部修复，就是GAN发挥作用的地方。
美图介绍称，人脸生成存在五官变形、丢失遮挡(如手、刘海等)信息等，导致大部分深度学习生成的人脸和真实人脸存在较大差距，生成的脸一眼就能看出来是假的。
还好StyleGAN出现了，借用图像风格迁移能生成逼真人脸。但这仅仅只是生成，并不能实现一对一的人脸修复。
为了用StyleGAN，美图为其设计了一个编码器-解码器网络形式。
他们说，在这个过程中，如果想复用编码器中的featuremap，保留脸部的五官特征，避免发生变形，就需要将其和解码器对应大小的featuremap连接起来。
与以往采用加的连接形式，美图采用的是concat的方式，可保留编码器结构的部分featuremap，避免脸部严重变形或者丢失脸部遮挡(如手、刘海等)的信息。
实际的操作过程，是在网络中，输入一张s x s的图，经过五次下采样，得到一张大小s32 x s32的featuremap，再经5次上采样，生成一张大小为S x S的修复脸部图。
