作者：仵冀颖
编辑：Joni Zhong
本文将探讨人机交互中的注意力问题。
本文我们关注注意力（Attention）问题。在这里，我们谈到的注意力与大家非常熟悉的机器学习中的注意力模型（Attention Model，AM）不同，本文讨论的是人机交互中的注意力问题。
人机交互中的这种注意力也被称为是用户的关注焦点（User's focus Of Attention）。人机交互中的注意力是构造社交机器人（Social Robot）的重要问题，也在普适计算和智能空间等人机交互应用中起到非常重要的作用，因为在这些应用中，必须能够持续的监控用户的目标和意图。
通过引入并有效测量注意力，能够改进人机交互的方式、效率和效果。一般认为，主要通过眼睛注视（Eye gaze）和头部姿势动态（Head）等来确定注意力 [1]。针对这些测量指标，研究者需要结合机器视觉和其他传感技术，测量和计算交互中的注意力指标，并且利用这些指标对机器人的行为进行控制。另一方面，这些指标也可以作为衡量社交机器人或者机器人辅助治疗中的效果。
本文首先介绍了一种用于社交机器人的人机交互方法，该方法根据目标人当前的视觉注意力焦点来吸引和控制目标人的注意力，从而建立人和机器人之间的沟通渠道。这也是社交机器人中注意力的最直接的研究和应用。此外，本文还介绍了两个在人与机器交流场景中的注意力应用，一是将注意力应用于在线教育效果的评估，另一个是在机器人增强治疗中开发自闭症儿童的联合注意力（Joint Attention，JA）。
一、Supporting Human–Robot Interaction Based on the Level of Visual Focus of Attention
论文地址：https://ieeexplore.ieee.org/abstract/document/7151799
在社交机器人的构造过程中，为了使机器人能够在服务应用程序或协作工作场景中与人类进行有效的交互，应该将这些机器人视为社会参与者，并表现出社会智能和意识。本文提出了一种智能的社交机器人工作方法，能够根据目标人的视觉注意力水平（Level of visual focus of attention，LVFOA）吸引目标人的注意力，并建立与目标人的交流通道。
作者认为 VFOA 是机器人能够有效吸引注意力（用户关注点）和启动互动的一个重要线索，因为：1）它有助于理解人在做什么，2）它表明关注目标客体是谁（谁在看谁）。本文使用视觉线索，例如注视模式（Eye gaze），以及目标人的任务背景来识别 VFOA 及其水平。
1. VFOA 介绍
人们一般都会倾向于注视他 / 她感兴趣的目标物体 [2]，为了描述参与人机交互任务的目标人的注意力情况，本文定义了视觉注意力（Visual Focus of Attention，VFOA）为三维表示的注视方向（gaze direction）。而具体任务 Ti 定义为：Ti（T={阅读、写作、浏览、观看绘画）}，其中，i=1...4，Ti 是属于有限组可视目标 Li 的元素，而 Li 就是由不同任务的不同目标对象组成。例如，L1={book}，L2={notebook}，L3={display，keyboard，mouse} 和 L4={paintings}，分别用于阅读、写作、浏览和查看绘画任务。作者定义了当目标人从指定的目标对象转移其 VFOA 时如何度量其注意力的丧失，还定义了如何测量目标对象参与任务时 VFOA 的持续时间。
本文对 18 名参与者（14 名男性，平均年龄 28 岁，标准差 4.9）完成四项任务的过程进行了录制：阅读（4 名参与者）、写作（4 名）、浏览（6 名）和观看绘画（将注意力集中在室内的一幅画上，4 名）。给参与者发出的指令是要求他们集中精力完成任务。每个人阅读、写作、浏览和观看绘画的平均任务完成时间分别为 9 分钟、9 分钟、8 分钟和 8 分钟。
为了测量 VFOA 的持续时间，作者观看录制的视频数据，并手动标注（使用暂停和重新开始）参与者在没有失去注意力的情况下对任务产生一致结果的时间段。当受试者将当前的 VFOA 转向另一个方向时，就会出现注意力丧失的情况。对于阅读和写作，参与者分别在「翻页」和「停止写作」时失去注意力。对于阅读、写作、浏览和观看绘画的任务，分别检测到 14 次、10 次、9 次和 12 次注意力的丧失情况。根据这些情况的持续时间，估计得到了每个任务的 VFOA 时间跨度（见表 1）。
表 1. VFOA 持续时间（分钟）
2. 本文方法介绍
本文所提出的方法如图 1 所示。在启动交互模块（见图 1（a）的左侧部分），机器人识别并跟踪目标人的 VFOA。如果它们最初是面对面的，机器人会产生一个感知信号，并与目标人进行眼神接触。否则，机器人会试图通过识别目标人当前的任务来吸引目标人的注意力。机器人检测当前 VFOA 的水平，直到时长达到 T_s（T_s 为预先设置的用于表示 VFOA 持续的最大时间跨度的参数）。图 1（b）给出了这一方法的具体执行步骤。机器人在时间 t 使用低级或高级的 VFOA（取决于目标人的当前任务），根据目标人的移位 VFOA 的观察情况来生成吸引注意力（Attention attraction，AA）信号（弱或强）。
图 1.（a） 本文提出的方法的抽象视图;（b） 本文方法的基本步骤。
