这就是网易互娱 AI Lab 深根多年、结合专业美术反馈不断迭代优化、低调开发的 AIxPose 视频动捕软件。据悉，该软件已经处理了超过数十个小时的视频资源，并应用于游戏剧情动画、热门舞蹈动画等资源的制作流程。经实际项目验证，1 分钟的舞蹈动画，美术手工制作或需 20 多天，用 AIxPose 辅助制作仅需 3 天，整个流程缩短了 80% 以上。
近日，网易互娱 AI Lab 基于开发该软件的经验，并结合在动捕领域的相关研究工作进行了整理，其所撰写的论文《Learning Analytical Posterior Probability for Human Mesh Recovery》被计算机视觉顶会 CVPR 2023 接收。
主页地址：https://netease-gameai.github.io/ProPose/
论文地址：https://netease-gameai.github.io/ProPose/static/assets/CVPR2023_ProPose.pdf
该论文创新性地提出了一种基于后验概率的视频动捕技术 ProPose，能够在单张图像、多传感器融合等不同设定下实现准确的三维人体姿态估计。技术精度比使用先验的基准概率方法高了 19%，且在公开数据集 3DPW、Human3.6M 和 AGORA 上均超越了过去的方法。此外，对于多传感器融合任务，该技术也能达到比基准模型更高的精度，且无需因为引入新传感器而修改神经网络的骨干部分。
技术背景
本研究的任务是从 RGB 图像中预测人体姿态和外形（human mesh recovery, hmr），现有的方法可以归纳为两类：直接法和间接法。直接法采用神经网络端到端地回归人体关节的旋转表示（如轴角、旋转矩阵、6D 向量等），而间接法先预测一些中间表示（如三维关键点、分割等），然后通过这些中间表示得到关节旋转。
然而，这两类方法都存在着一些问题。对于直接法而言，由于这类方法需要网络直接学习旋转这类抽象表示，与学习关键点、分割相比，学习旋转相对困难，因此网络输出的结果有时候很难和图像对齐，且无法完成一些大幅度的动作，如下图 (a) 第一行的右脚无法完全向后伸展。与之相比，间接法一般能产生更高的精度，但是这类方法的表现很大程度上依赖于中间表示的准确性，当中间表示由于噪声产生误差时，容易让最终的旋转出现相当明显的错误，如下图 (b) 第二行的左手所示。
除了前述这些确定性的方法，还有一些方法通过学习某些概率分布来建模人体姿态的不确定性，从而将噪声纳入考虑，提高系统鲁棒性。目前主要的概率建模方式包括多元高斯分布、标准化流、神经网络隐式建模等，但是这些非 SO (3) 上的概率分布无法真实地反映关节旋转的不确定性。比如在不确定性较大时，高斯分布在 SO (3) 上的局部线性假设不成立。近期的一篇工作直接用网络学习了 matrix Fisher 分布的参数，虽然这是一种 SO (3) 上的分布，但该方法的学习方式和直接法类似，收敛表现无法和现有的间接法相比。
为了同时兼顾高准确性和鲁棒性，提升概率方法的性能，ProPose 推导了关节旋转的解析后验概率，不仅能够受益于不同观测变量带来的高精度，也能衡量不确定性，尽可能减弱噪声对算法的影响。如下图所示，对于输入的图片，ProPose 可以通过输出的概率分布一定程度上度量该关节旋转在各个方向的不确定性，如右手沿着手臂轴的旋转、左手臂上下摆动的朝向、左小腿远近的程度等。
技术实现
人体建模
本研究对人体姿态进行概率建模，目标是求关节旋转 R 在一些观测变量条件下（如骨骼朝向 d 等）的后验概率 p (R|d,⋯)。
具体而言，由于人体的关节旋转位于 SO (3) 上，而子关节相对于父关节的单位骨骼朝向位于 S^2 上，因此可基于这两种流形上的概率分布进行分析。
首先，SO (3) 上的 matrix Fisher 分布 MF (⋅) 可作为关节旋转 R 的先验分布，如下式所示，F∈R^(3×3) 是该分布的参数，c (F) 是一个归一化常量，tr 表示矩阵的迹。
