图 | 室内试验（来源：受访者）
研究中，一个虚拟版本的 Cassie，通过与环境交互产生的大量数据，来学习稳定的步态。
习得的步态控制器，被转移到名为 SimMechanics 的第二个仿真环境中进行验证，该环境有更高的准确性，可用以模拟现实世界的物理过程，但是会减慢仿真运行速度。
而通过使用在仿真环境中学习的步态控制器，Cassie 能非常平稳地行走，且无需进行任何额外微调。它不仅能像人类一样前后左右地走，还能蹲着走，也能承受意料之外的负载，更能从强行推动造成的失稳状态中恢复过来。
比如，在测试期间，Cassie 损坏了它右腿的两个电机，但它仍能调整其步行策略、并进行适应。
机器人如何更鲁棒？答案是强化学习Cassie 是李钟毓所在的 Hybrid Robotics Group 实验室、从美国 Agility Robotics 公司买来的，它大概有一米多高，内部拥有十个电机，以及二十个自由度。
图 | 实验中的 Cassie（来源：受访者）
据他介绍，Cassie 于 2017 年首次开始出售，他从 2019 年开始接触，目前已经研究两年有余。
买来后，其主要用于测试和验证不同算法，如控制算法和导航控制算法等。在李钟毓这里，Cassie 更像是一个研究平台。
事实上，足式机器人的核心正是控制算法。研究中，李钟毓主要使用 Python 进行编程，主体代码由其所在小组搭建，剩余一部分基于其他学者的开源代码。
由于是二足机器人，算法控制上会更难。而该研究的创新点在于，用强化学习的方法，得到控制二足机器人步态的算法，相比传统基于模型的算法，性能可得到显著提升。
图 | 鲁棒性测试（来源：受访者）
由此带来的鲁棒性也比较强，怎么推它都不会倒，即便在几乎快要摔倒的情况下，也能快速恢复稳定状态，这也是业内首次展示出二足机器人如此稳定的性能。
在强化学习之前，传统基于模型的方法，需要很多时间和技巧给机器人做建模，尤其对于二足机器人而言，一旦其自身性质和周围环境发生改变，比如电机坏了、地面摩擦力有变化，模型很有可能就会失效。
其次，对于双足式的机器人系统，其非线性非常高，并且由于是高自由度的混合系统，每一次踏步都会受到地面冲击力，因此很难获得精确模型。
图 | 室外实验（来源：受访者）
而要想做一个实时控制算法，就要使用相对完整的动力学模型。但是，即便具备好的模型，部署在非常高自由度的非线性系统上，也很难做到较快的实时计算。
因此，使用传统方法时，很多学者都会做出权衡取舍，比如往往用简化模型来做控制算法。
这样做出的算法有两个缺点：一是无法完整利用动力学模型，无法充分发挥机器人系统的灵敏性；二是基于模型的算法，一旦超过其稳定区域，算法就会轻易崩溃。
而强化学习的优点在于，通过相对完整的机器人动力系统，Cassie 在仿真环境反复尝试后，就能获得大量和环境交互的数据，从而学会用稳定步态行走。
