在全局场景中，研究人员还设置了Matching Critic（上图中紫色框）来评估从原始指令中重建场景执行情况，并且设置了循环重建奖励。
对于局部场景来说，这种循环重建奖励就是一种内部奖励信号，帮助智能体理解语言输入，并且惩罚不符合语言指令的错误轨迹。
解决了最优线路的问题后，智能体少走了不少弯路，但研究人员的改造还在继续。
为了让智能体在杂七杂八的现实物体中专注于有用的场景，研究人员还提出了一种自监督模仿学习（Self-Supervised Imitation Learning，SIL）的新方法，帮助智能体探索未知场景中没有标注的数据。
△ SIL架构
SIL方法就是让智能体学会利用走过的老路中获取的经验。
简单来说，在这个框架中，导航器（Navigator）执行多种rollout，将其中评估出的比较好的轨迹存储在缓冲区，方便导航器在后面的路径中模仿。
这样，导航器在行进中就能逐步接近最好的路径，规划出最佳决策。
测试结果
论文中，使用R2R（Room to Room）数据集评估模型性能。这个数据集中，共有7189条路径，21567条人工注释指令，平均长度29个单词。
在评估VLN性能时，主要有5个指标，分别是路径长度(PL)、导航误差(NE)、Oracle成功率(OSR)、成功率(SR )和由反向路径长度加权的成功率(SPL)。
在这些指标中，SPL兼顾了有效性和效率，被认为是评估导航性能的主要标准，其他的指标通常被作为是辅助指标。
评估结果显示，RCM模型显著优于当前最优结果（SOTA），尤其在SPL指标上。
此外，使用SIL进行模仿学习之后，学习效率也得到了大幅度提升，可见和不可见环境之间的成功率差距从原来的30.7%降低到11.7 % 。
