萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
说到短视频特效，你或许第一时间会想到“抖音特效”。
没错，抖音的特效似乎总是火到出圈，像用一段视频让你“重返三岁”：
△视频来源@赖美云
又或是1个动作就打破次元壁，PDD也变得眉清目秀：
事实上，与AI相关的特效技术，国内外也有不少APP在做，但运行到手机上后，最出圈的往往还是抖音。
同类特效，背后所用的AI技术其实是接近的，但抖音做出的特效，渲染真实、运行流畅、爆款也更多。
抖音特效常青的秘诀，究竟是什么？
只要5M，效果堪比虚幻引擎一款特效的创意无法预测，但渲染效果和运算时间却能被打磨到极致。
其中，渲染效果依靠CV（计算机视觉） CG（计算机图形学）两类算法的提升，而运算时间则依靠模型的优化。
对于计算机来说，CV算法能让它精准地“看懂”一张照片中的内容。小到特效的贴合度、实时跟踪的精度，大到整个图像的分辨率提升、风格改变，都属于CV算法的范畴。
像合成大菠萝这种贴脸特效，或是高清修复老照片，又或是“重返三岁”、“漫画脸”这类整体画风的迁移，都属于CV算法的“职责”所在。
抖音所用的CV算法，基本靠自研。仅CVPR 2021一场顶会，字节跳动合作入选的论文就有14篇，涵盖NAS、图像修复、行为识别等方向，同时在移动目标检测、细粒度图像识别、视频分类等细分领域竞赛中夺冠。
再说CG算法，它能让计算机做出以假乱真的特效效果，结合CV算法贴合到图片或视频上。
像常见的PBR算法，只是渲染“基操”；电影中常用的粒子系统，抖音同样也会用到手机特效上，此外还有透明材质、bloom效果……都更接近真实场景，而不仅仅是2D贴纸。
