机器之心报道
编辑：小舟
机器人的动作往往略显笨拙，机械感太重。现在，它们可以像人一样灵活了。
近年来，机器人领域涌现出许多有趣的进展，比如机器狗会跳舞，会踢足球，双足机器人搬东西。通常这些机器人都依赖于根据感官输入生成控制策略。尽管这种方法避免了开发状态估计模块、建模对象属性和调整控制器增益方面的挑战，但需要大量的领域专业知识。即使取得了诸多进展，但学习瓶颈让机器人难以执行任意任务，无法实现通用的目标。
要了解机器人学习的关键，一个核心的问题是：我们如何收集机器人的训练数据？一种方法是通过自监督的数据收集策略收集有关机器人的数据。虽然这种方法比较稳健，但即使对于相对简单的操作任务，通常也需要数千小时与真实世界交互的大量数据。另一种是在模拟数据上进行训练，然后迁移到真实机器人（Sim2Real）。这允许机器人以快几个数量级的速度学习复杂的机器人行为。然而，设置模拟机器人环境和指定模拟器参数通常需要广泛的领域专业知识。
实际上还有第三种方法，收集训练数据还可以要求人类教师提供演示，然后训练机器人快速模仿人类的演示。这种模仿方法最近在各种具有挑战性的操作问题中显示出巨大的潜力。然而，这些工作中的大多数都存在一个根本性的限制——为机器人收集高质量的演示数据是很困难的。
基于上述问题，来自纽约大学和 Meta AI 的研究者提出了 HOLO-DEX，这是一个收集演示数据和训练灵巧机器人的新框架。它使用 VR 头显（例如 Quest 2）将人类教师置于身临其境的虚拟世界中。在这个虚拟世界中，教师可以从机器人的眼睛中查看机器人「看到」的场景，并通过内置的姿势检测器控制 Allegro 机械手。
看起来就像是人「手把手」教机器人做动作：
HOLODEX 允许人类通过低延迟的观察反馈系统为机器人无缝提供高质量的演示数据，它有以下三个优点：
- 与自监督的数据收集方法相比，HOLODEX 基于强大的模仿学习技术，可以在没有奖励机制的情况下快速训练；
- 与 Sim2Real 方法相比，学得的策略可以直接在真实机器人上执行，因为它们是在真实数据上训练的；
- 与其他模仿方法相比，HOLODEX 显著减少了对领域专业知识的要求，只需要人们操作 VR 设备。
论文链接：https://arxiv.org/pdf/2210.06463.pdf
项目链接：https://holo-dex.github.io/
代码链接：https://github.com/SridharPandian/Holo-Dex
为了评估 HOLO-DEX 的性能，该研究在六个需要灵巧操作的任务上进行了实验，包括手持物体、单手拧开瓶盖等。该研究发现人类教师使用 HOLO-DEX 可以比单图像遥操作（teleoperation）的先前工作快 1.8 倍。在 4/6 任务上，HOLO-DEX 学习策略的成功率超过了 90%。此外，该研究还发现通过 HOLO-DEX 学得的灵巧策略可以泛化到新的、未见过的目标对象上。
总的来说，该研究的贡献包括：
- 提供了一种借助 VR 头显让人类教师在混合现实中实现高质量遥操作的方法；
- 实验表明，HOLO-DEX 收集的演示可用于训练有效且通用的灵巧操作行为；
- 该研究还对所提方法中的各种决策进行了分析和消融实验，以验证每一个关键设计的效用。
此外，与 HOLO-DEX 相关的混合现实 API、研究收集的演示和训练代码均已开源：https://holo-dex.github.io/
HOLO-DEX 架构概览
如下图 1 所示，HOLO-DEX 分两个阶段运行。在第一阶段，人类教师使用虚拟现实 (VR) 头显向机器人提供演示。这个阶段包括创建一个用于教学的虚拟世界、估计（estimate）教师的手部姿势、将教师的手部姿势重定位到机械手上，最后控制机器人的手部。在第一阶段收集了一些演示之后，HOLO-DEX 的第二阶段学习视觉策略来解决演示的任务。
