(映维网Nweon 2023年03月23日)如果大家有印象,微软有研发过一个机器人 AR框架,基于HoloLens实现机器人操控交互。另外,正在积极研发军工版微软HoloLens的美国陆军同样有在探索“机器人 AR”的协同作战行动。
这种机器人 AR的解决方案可以免除携带主机、键盘、控制器等多余硬件设备的需要,同时允许用户直接在视场可视化各种数据信息,进一步优化控制机器人的能力。
现在,随着脑机接口BMI的迅速发展,业界开始探索直接通过意念 AR的方式来控制机器人。这对于一系列的领域都具有应用潜力,例如允许残障人士通过意念控制轮椅或操作假肢等等。
这对于军事领域同样重要,因为现在无人机器的应用越发广泛,但对于无人机器与士兵的协同作战,任何多余的动作或言语都可能会暴露士兵的位置,并造成生命威胁。
所以在悉尼科技大学,研究人员正在与澳大利亚陆军和国防创新中心合作,共同研发一种基于干式可穿戴脑机接口和微软HoloLens的机器人控制方法。
脑机接口系统通常由三个模块组成:外部感觉刺激、传感接口和神经信号处理单元。其中,传感接口通过植入或可穿戴神经传感器(如脑电图EEG电极)检测皮层电活动,对人类意图(频率为~150 Hz的脑电波)进行编码。
对于可穿戴神经传感器的方式,这与军用头盔十分相配,比如说基于微软HoloLens的IVAS头戴式硬件。
然而,传统的可穿戴神经传感器依赖于在头皮和头发涂抹导电凝胶电解质,而凝胶的使用会导致皮肤刺激、感染风险、过敏反应、以及由于凝胶逐渐干燥而不适合长期操作等问题。
由于具有非常薄的性质,加上高导电性、生物相容性、耐腐蚀性和在汗液中的稳定性,可以用作侵入性和非侵入性神经接口的传感器,诸如石墨烯和石墨烯衍生物这样的二维纳米材料非常适合作为脑机接口传感器的电极材料。
然而,大多数基于二维材料的非侵入性传感器通常由具有平坦表面的薄膜电极组成,并且不适用于头皮有毛区域(为了测量来自头部枕叶区域的EEG信号,传感器需要放置在后脑勺,而这里通常存在头发覆盖)。
所以,澳大利亚悉尼科技大学的研究人员探索了一种亚纳米厚外延石墨烯的三维微图案传感器,可用于检测枕叶区域的脑电图信号。实验表明,这种干式外延石墨烯传感器显示出低阻抗的有效皮肤接触,并且可以实现与湿式传感器相当的信噪比。
然后,团队将完整的脑机接口平台aBRI与微软HoloLens,以支持用户通过AR 意念的方式来控制机器人。
具体来说,aBRI平台由四个主要组件组成:接口设备,移动脑电图系统,单板计算机,以及机器人系统。所有主要组件都通过传输控制协议/互联网协议进行通信。被试首先接受手机界面的培训,以熟悉aBRI平台和脑机接口应用程序。然后他们穿戴微软HoloLens,并使用aBRI与Q-UGV机器人交互。
团队表示:“我们的技术可以在两秒内发出至少九个命令。这意味着我们有九种不同的命令,操作员可以在这九种命令中选择一种。我们同时探索了如何最大限度地减少来自身体和环境的噪音,以从操作员的大脑中获得更清晰的信号。”
值得一提的是,据Techxplore报道,澳大利亚陆军同样测试了这项技术。其中,士兵使用脑机接口以免手免语音方式操作Ghost Robotics四足机器人,而准确率高达94%。
相关论文:Noninvasive Sensors for Brain–Machine Interfaces Based on Micropatterned Epitaxial Graphene
研究人员相信,这项技术将引起科学界、工业界和政府的兴趣。接下来,他们将不断优化,并希望在脑机接口系统方面继续取得进展。