图 | 本次研究的核心：基于强化学习的步态控制器（来源：受访者）
如上图所示，这是本次研究提出的基于学习的步行控制器，控制器的输入包括所期望的步态参数、期望的转弯偏航速度、由期望的步态参数解码的参考步态、一段时间内的观察到的机器人状态以及控制器的输出。
另据悉，控制器可输出十个电机的期望位置，通过低通滤波器（LPF）后，可被发送到各个关节处的 PD 控制器产生期望的电机力矩。
两大创新，让 Cassie 可模仿各种步态李钟毓告诉 DeepTech，该研究主要有两大创新点。
第一个创新点，在于采用了步态库，里面有各种各样不同的步行速度和步行高度的步态，比如有 1 米每秒的前进速度、0.3 米每秒的侧向行走速度、和 0.7 米的步行高度下的步态。这样就能在步态库中各取所需，从而让机器人模仿不同的参考步态，同时还能追踪参考步态的速度和步行高度。
通过步态库，在训练中使用神经网络所代表的控制器，就能控制不同的步行速度和步行高度，比如往前或者往后。此外，不同步态之间还可实现来回切换。
此外，步态库还能提供更多参考动作，Cassie 在仿真学习时，就能见到各种步态，同时还能学会在各种动作下保持平衡。
如下图所示，Cassie 滑了一跤，几乎差点摔倒，但在用安全绳把自己拉起来后，它能迅速恢复稳定步态，这个能力是前所未有的，而且李钟毓也并未就该能力，专门训练过它。
图 | Cassie 的步态（来源：受访者）
也就是说，这是 Cassie 通过在训练中模仿各种步态，并让自己从不同步态的过渡中“自摸学会”的能力，这在大部分基于模型控制算法的机器人身上很难实现。
试想一下，如果机器人自己倒在地上，没有人扶它，无论对它自己还是对周围人都非常危险。
第二个创新点在于，结合了机器人的历史输入和输出，从而实现对 Cassie 和其所在环境的在线系统辨识。
这样，控制器就能让 Cassie 适应不同的环境， 比如不同地面的摩擦力。
（来源：受访者）
测试中，Cassie 的两个电机坏了，但它仍能快速适应系统变化。再比如，把不同重物放在 Cassie 身上，即便拉着后面的安全架，它也能迅速适应这种变化。
据悉，该研究由李钟毓所在的、由 Prof. Koushil Sreenath 带领的课题组，和伯克利大学 Prof. Sergey Levine、以及 Prof. Pieter Abbeel 两个课题组合作。
李钟毓所在的小组，专注于机器人和控制算法领域，其他两个小组则是强化学习方面的专家。此外，该工作的成功也离不开团队成员程旭欣、Xue Bin Peng、Glen Berseth 的共同努力。
可应用于灾后搜救和快递 “最后一公里”相比其他机器人，Cassie 有更大的运动空间，因为人类社会的环境，主要围绕人类需求而建造。而二足控制算法，能让 Cassie 在人类环境中更好地运动比如爬楼梯，这也是轮式机器人无法实现的。
具体应用中，当发生地震时，Cassie 能在塌房中做救援工作；或者在 “最后一公里” 的快递中，在此之前先用快递车运送到固定地方，但因为收件人一般在室内，这时 Cassie 就能替代快递小哥，把快递当面送给用户。
（来源：受访者）
此外，Cassie 这类二足机器人，形态上和人类相似，人类也更倾向于和它们做更好的交互，比如可以给其设计富有感情的动作，冷冰冰的机器也能变得更有温度。
李钟毓之前的论文 《动画Cassie：一个可读的动力学机器人角色》（Animated Cassie：A Dynamic Relatable Robotic Character）, 首次用动画软件给 Cassie 设计了富有表情的动作，并使用基于模型的轨迹优化的算法，设计出来的动作能让 Cassie 在现实世界中复现出来，上述论文也入选了 IROS 2020 最佳娱乐应用论文。
