为了进一步增强BeautyGAN的生成能力,美图还借助了StyleGAN的训练方式。
首先,他们训练了解码器的生成能力,即输入一个大小为s32 x s32的随机向量,通过逐层的上采样加上concat的随机向量,最终生成一张s x s大小的人脸,确保生成的人脸看不出真假。
上述的解码器网络结构就是一个生成器,然后加上判别器,就构成了美图的BeautyGAN。
美图表示,直到解码器结构训练稳定具备生成人脸的能力后,才会与编码器结构合并,并进行整个网络结构的训练。
人像修复之后,就会进入下一阶段。
画质增强
美团表示,在这个过程中,分辨率比较高的图片在进行全图去噪等操作时,比较耗时间。
为了提高计算效率,他们将待修复图缩小到一定尺度,再进行分块、去噪等修复操作。然后通过guided-filter网络结构的画质增强方案恢复为原始分辨率。
之后,再利用超分辨率网络,最终使得画质整体变得更加清晰。
至此,整个图像的处理流程也就大致明了。
美图影像实验室MTlab
最后,简单介绍下这次技术背后的美图影像实验室MTlab。
美图影像实验室(MTlab)成立于2010年。2014年正式独立,目标是利用不断累计的图像数据,训练出更加精准的机器算法,利用算法提供更多服务。
目前,核心技术服务有人脸技术、3D技术、肢体检测、图像恢复、图像增强、增强现实、图像分割、影像生成、极致美颜、美妆技术、AI测肤等11项。
根据官方网站介绍,自2015年以来,美图影像实验室已经发表20多篇论文,其中不乏ICCV、ECCV、CVPR等计算机视觉领域的顶级学术会议。而且,在今年的CVPR和ICCV上的竞赛中,也都获得了有冠军。
基于MTlab,美图在2019年4月推出AI开放平台,对外进行解决方案输出,已经有用宝洁、屈臣氏、欧莱雅、丝芙兰、淘宝、百度等多家公司使用。
现在美图影像实验室MTlab的负责人是万鹏飞,博士毕业于香港科技大学ECE系,本科毕业于中国科学技术大学EEIS系。研究方向主要包括计算机视觉和计算成像。
One more thing…..
还是温馨提示一下吧。
美图这只AI,虽然能够去掉马赛克,但比较重的马赛克,效果并不太理想。
而且也只能去掉人脸上的马赛克,连沸羊羊就不行: