数据扩展
也许该研究中最重要的假设是，使用标记的 contractor 数据训练 IDM（作为 VPT pipeline 的一部分）要比直接从同一个小型 contractor 数据集训练 BC 基础模型有效得多。为了验证这一假设，研究者不断增加数据量来训练基础模型，数据量规模从 1 小时增加到 70000 小时。他们将训练分为两个部分，如下图虚线所示，训练数据时长以 2000 为分界线。
基础模型训练数据对微调的影响：从图中可以看出，随着基础模型数据的增加，模型制作能力随之增加，只有在最大的数据规模下，我们才会看到石器工具制作的出现。
通过强化学习进行微调
当指定的奖励函数足够好时，强化学习便能够成为一种强大的方法去激发更高的，甚至是超人类的表现。VPT 模型和 RL 搭配更好，因为模仿人类行为可能比采取随机行动更有帮助。该研究设置了一些模型挑战任务，即收集钻石鹤嘴锄，这是在《我的世界》中前所未有的能力。
制作一把钻石鹤嘴锄需要一长串复杂的子任务。为了使这个任务易于处理，该研究会奖励序列中的每一项智能体。
