并且同样的策略能够被人类通过自然语言进行实时引导，以解决广泛的精确的长距离重新排列目标，例如 「用积木做一个笑脸」等。
随论文共同发布的数据集包括近60万个语言标记的轨迹，比之前的可用数据集也要大一个数量级。
交互式语言：与机器人实时对话想要让机器人融入现实世界中，最重要是能够处理开放式的自然语言指令，但从机器学习的角度来看，让机器人学习开放词汇表语言是一个巨大的挑战。
开放代表模型需要执行大量任务，包括小的纠正指令等。现有的多任务学习设置利用精心设计的模仿学习数据集或复杂的强化学习奖励功能来驱动每个任务的学习，通过这种方式设计的预定义集合注定不会很大。
因此，在开放词汇表任务中一个关键的问题是: 应该如何扩展机器人数据的收集过程，使其能够涵盖真实环境中成千上万的行动，以及如何将所有这些行为与最终用户可能实际提供的自然语言指令联系起来？
在交互式语言中，Google提出的大规模仿真学习框架关键是创建大型、多语言条件的机器人演示数据集的可伸缩性。
和以前设置中需要定义所有的技能，然后收集每个技能策划的示范不同的是，研究人员不断在跨多个机器人在无场景重置（scene resets）或低级别技能分割（low level skill segmentation）的情况下收集数据。
所有的数据，包括失败的数据（如把块从桌子上敲下来 knocking blocks off a table），都要经过一个hindsight language relabeling的过程才能与文本配对。
在这个过程中，标注人员需要观看长长的机器人视频来识别尽可能多的行为，标记每个行为的开始和结束时间，并使用无限制形式的自然语言来描述每个片段。
最重要的是，与之前设置的引导相比，所有用于训练的技能都是从数据本身自下而上显示出来的，而非由研究人员预先确定的。
研究人员有意将学习方法和架构尽可能简化，机器人策略网络是一个交叉注意力Transformer，将5赫兹的视频和文本映射到5赫兹的机器人动作，在没有辅助损失（auxiliary losses）的情况下使用标准的监督式学习行为克隆目标。
在测试时，新的自然语言命令可以通过speech-to-text以高达5赫兹的速率发送到策略网络中。
开源基准在标注过程中，研究人员收集了一个Language-Table数据集，其中包含超过44万实际和18万模拟的机器人执行自然语言命令的演示，以及机器人在演示过程中采取的动作顺序。
这也是当下最大的基于语言条件的机器人演示（language-conditioned robot demonstration）数据集，直接提升了一个数量级。
Language-Table 推出了一个模拟仿真学习基准，可以用它来进行模型选择，或者用来评估不同方法训练得到的机器人执行指令的能力。
实时语言行为学习在实验中，研究人员发现，当机器人能够跟随实时输入的自然语言指令时，机器人的能力就会显得特别强大。
在项目网站中，研究人员展示了用户可以仅使用自然语言就能引导机器人通过复杂的长视野序列（long-horizon sequences）来解决需要较长时间才能精确协调控制的目标。
