机器之心发布
机器之心编辑部
火遍抖音的「卡通脸」特效，是怎么做到又逼真又灵动的？
说到特效玩法，抖音的 “整活儿” 能力一直有目共睹。最近，风头正劲的是一款「卡通脸」特效。无论男女老少，用上这款特效后，都仿佛从迪士尼动画里走出来的人物一样灵动可爱。「卡通脸」一经上线，在抖音上迅速发酵，深受用户喜爱，“一键变身高甜卡通脸 ”“全抖音的在逃公主都来了”“用卡通脸花式晒娃 ”“王子公主撒糖手势舞”“捕捉童话魔法失灵瞬间” 等相关热点不断衍生，其中，“全抖音的在逃公主都来了”“捕捉童话魔法失灵瞬间” 更是登上了抖音全国热点榜。目前，这一特效的使用人数已经超过 900w。
「卡通脸」属于 3D 风格特效，这类特效的研发难点主要集中在多样性的 CG 训练数据不易获取、灵动的表情神态难以还原、真实贴合的立体肤质光影难以实现、夸张强风格的五官形变 GAN 不易学习等多个方面。对此，字节跳动智能创作团队在 3D 风格化方向重点突破优化，不仅解决了上述所有难题，还沉淀了一套通用的技术解决方案。
「卡通脸」背后的研发流程创新
过去，一个完整的 3D 风格化研发流程分为以下几个模块：
搜集若干原始风格图片 -> 训练 StyleGAN 大模型 -> 生成成对数据 -> 人工挑选可用成对数据 设计师 P 图优化 -> 训练 p2p 小模型，然后不停反复。
传统的研发流程的问题非常明显：迭代周期长，设计师可参与度弱，且不易于沉淀和复用。
在「卡通脸」这个特效的研发中，字节跳动智能创作团队采用了创新的研发流程：
从设计师制作目标风格效果开始，设计师按照算法约定的要求提供一些3D美术素材，然后字节跳动智能创作团队借助DCC软件批量渲染若干多样性的CG数据，在渲染过程中技术团队首次引入时下最火的AIGC技术对数据做了增强处理，之后用GAN合成训练所需的成对数据，最后采用自研的形变pix2pix模型训练就可以得到最终效果。
字节跳动智能创作团队「卡通脸」的研发流程图
从流程链路可以看出，这一方法大大缩减了迭代周期，提高了自动化程度，也让设计师有更高的参与度，实践显示，创新的工程链路将迭代周期从 6 个月缩减至 1 个月，方案也更易于沉淀和复用。
「卡通脸」特效是怎么设计出来的
如今在社交媒体上有越来越多的变身特效，人们越来越注重特效的美观性和精确度，为了让用户更好地实现风格化变身的效果，抖音特效的设计师们经过精心研究，结合了热门动画画风，创新地设计了一套卡通脸特效，让用户可以体验到动画般灵动的角色风格，同时满足了用户的变美变帅需求。
抖音特效设计师针对目前市场上现有的变身特效进行了深入研究，发现现有的特效存在风格不够吸引人、表情夸张度不足、灯光效果不够真实等问题。因此，抖音特效设计师结合国内审美，重新设计了卡通脸的画风，将男女面部比例特征夸张化，重构成可爱圆脸五官灵巧的 “女孩” 和硬朗长脸五官帅气的 “男生”。在这一过程中，设计师保留了用户本身的头发，增强了头发的蓬松感及光泽度，使其与卡通脸的融合更加自然，卡通质感的皮肤也融入了用户本人皮肤的细节，使特效更具有用户的个性特征。
此外，抖音特效的设计师还定义了不同灯光下的光影质感，满足复杂场景下的灯光还原的需求，使卡通脸更加立体且自然，融入日常自拍无违和感。最后，设计师还制作了夸张符号化的面部表情，通过对数字人资产采用面部捕捉技术生成表情 CG 数据，不断完善训练数据和算法，产出了能够更加灵动展现用户个性的表情效果。
自建 CG 合成数据流，高质量训练数据可复用
3D 风格类特效的训练数据来源依赖高质量的 CG 渲染数据，且对数据分布的多样性要求比较高，同时 3D 资产手动建模也是一个非常耗费人力的过程，可复用性也不足，往往一个项目花费了昂贵的人力时间成本制作了一批 3D 资产，在项目结束后就完全废弃了。
此次，字节跳动智能创作团队搭建了一套通用易扩展的 CG 合成数据工作流。
