该研究使用 Meta Quest 2 VR 头显将人类教师置于虚拟世界中，分辨率是 1832 × 1920，刷新率是 72 Hz。这款头显的基础版售价为 399 美元，相对较轻，只有 503 克，这让教师的演示操作更轻松舒适。更重要的是，Quest 2 的 API 接口允许创建自定义的混合现实世界，将机器人系统与 VR 中的诊断面板一起可视化。
使用 VR 头显估计手部姿势
相比于之前关于灵巧遥操作的工作相比，使用 VR 头显在人类教师的手部姿势估计方面具有三个好处。首先，由于 Quest 2 使用 4 个单色摄像头，其手势估计器比单摄像头估计器强大很多。其次，由于摄像机是内部校准的，因此它们不需要以前的多摄像机遥操作框架中所需的专门校准程序。第三，由于手部姿势估计器是集成到设备中的，因此它能够以 72Hz 的频率传输实时姿势。此前有研究指出，灵巧遥操作的一个重大挑战是以高精度和高频率获取手部姿势，HOLO-DEX 通过使用商业级 VR 头显显著简化了这个问题。
手部姿势重定向
下一步，从 VR 中提取的教师手部姿势需要重定位到机器手上。这首先要计算教师手部各个关节的角度，然后一种直接的重定向方法是「命令」机器人的关节变动到相应的角度。这种方法适用于该研究中除拇指以外的所有手指，但 Allegro 机械手的形态与人类不是完全匹配的，拇指不能完全套用这种方法。
为了解决这个问题，该研究将教师拇指指尖的空间坐标映射到机器人的拇指指尖，然后通过逆运动学求解器计算拇指的关节角度。需要注意的是，由于 Allegro 机械手没有小拇指，该研究也就忽略了教师的小拇指角度。
整个姿势重定向过程不需要任何校准或教师特定的调整来收集演示。但该研究发现可以通过查找从教师拇指到机器人拇指的特定映射来改进拇指重定向。整个过程的计算成本很低，并且可以以 60 Hz 的频率传输所需的机器手姿势。
机器手控制
Allegro Hand 通过 ROS 通信框架进行异步控制。给定重定向程序计算的机器手关节位置，该研究使用 PD 控制器以 300Hz 输出所需扭矩。为了减少稳态误差，该研究使用重力补偿模块来计算偏移扭矩。在延迟测试中，该研究发现当 VR 耳机与机器人手在同一本地网络上时，可以实现低于 100 毫秒的延迟。低延迟和低错误率对于 HOLO-DEX 至关重要，因为这允许人类教师对机器手进行直观的遥操作。
当人类教师控制机器手时，他们可以实时看到机器人的变化（60Hz）。这允许教师纠正机器手的执行错误。在教学过程中，该研究以 5Hz 的频率记录来自三个 RGBD 摄像机的观察数据和机器人的动作信息。由于记录多个摄像机所需的大量数据占用空间和相关带宽，该研究不得不降低记录频率。
使用 HOLO-DEX 数据进行模仿学习
收集数据后就进入了第二阶段，HOLO-DEX 要在数据上训练视觉策略。该研究采用最近邻模仿 (INN) 算法进行学习。在之前的工作中，INN 被证明可以在 Allegro 手上产生基于状态的灵巧策略。HOLO-DEX 更进一步，并证明这些视觉策略可以推广到各种灵巧操作任务中的新对象。
为了选择获得低维嵌入的学习算法，该研究尝试了几种最先进的自监督学习算法，发现 BYOL 提供了最好的最近邻结果，因此选择 BYOL 作为基本的自监督学习方法。
实验结果
下表 1 展示了 HOLO-DEX 收集成功演示的速度比 DIME 快 1.8 倍。对于需要精确 3D 运动的 3/6 任务，该研究发现单图像遥操作甚至不足以收集单个演示。
