开发自然的人机交互

Kai Essig教授描述了眼动追踪如何为人类和技术系统之间的先进自然用户界面的发展做出了贡献。

Kai Essig教授是德国坎普-林特福特的莱茵瓦尔应用科学大学人因素和交互系统教授。他的研究领域包括眼动追踪、视觉知觉、图像处理、计算机视觉、眼手协调和机器人学。目前的项目重点包括智能增强现实（AR）眼镜作为个性化辅助系统在工业和居住领域的应用、虚拟现实（VR）模拟器，以及用于个性化驾驶员辅助系统或近距离人机协作的自然交互形式的实地研究。

您的研究的总体愿景是什么？

我的研究侧重于研究人类的注意力和行为，将这些发现转化为计算模型，并将其应用于技术系统。这不仅可以实现更加自然和直观的人机交互（HMI），还可以使技术系统预测人类行为并提供适当的支持性反馈。

例如，这些我目前正在研究的一些系统：

• 智能辅助增强现实眼镜，它可以预测组装任务中的个体问题，并为人类用户提供个性化的上下文敏感的视听辅助，以促进自主学习过程。
• 与我们来自荷兰的合作伙伴一起，我们开发了一款内部的卡车对接模拟器。通过这个模拟器，我们不断地记录卡车司机在配送中心进行对接过程中的数据，例如方向盘坐标、速度、卡车位置、距离对接站点的距离和眼动追踪数据等。我们利用机器学习技术应用于记录的多模态数据，自动学习专家的典型行为。

当一名经验较少的司机使用模拟器时，系统可以自动将他们的表现与专家进行比较，并在安装在卡车驾驶舱的平板电脑上提供个性化反馈。例如，对于最佳方向盘运动的建议，或者引导司机关注与对接过程相关的信息。

激励您踏上这个旅程，并让您保持前进的动力是什么？

动力在于利用现代技术和发展所提供的多样化和迷人的技术和方法，创建智能用户中心的辅助技术，支持人们根据他们的身体和心理能力过上自主的生活。

关键在于利用跨学科的方法和多种方法来探索自然而直观的人机界面，并根据用户的需求进行优化，例如最佳反馈选择、可解释决策和自然的交互。

总体目标是为紧密的人机团队实施技术，重点不是取代人类，而是通过机器来支持人类。因此，伦理、法律和社会影响（ELSI）、数据保护方面以及用户在开发过程中的早期参与起着重要作用。

迄今为止，您工作的主要发现是什么？

跨学科和国际合作的方式最适合解决目前和未来的研究问题。不同学科针对类似的研究问题展开工作，虽然它们从不同的角度出发，但最终得出了类似的总体结论。

以眼动追踪为核心的研究方法在许多跨学科研究场景中发挥了重要作用，它是一种多功能且具有连接性的研究方法。

在您的实验中引入眼动追踪有怎样的获益呢？

眼动追踪在我的研究中扮演着重要的角色。

• 为了对不同应用环境下（例如工业装配过程中的健康人群或残障人士，适当的工作坊设施）的人类感知行为和眼手协调进行深入理解，以获取可靠的模型过程洞察。
• 作为了解用户当前的心理过程并提供适当的上下文敏感的帮助工具，眼动追踪可以起到很好的作用。例如，如果用户在工作台上不停地在不同的工具中切换注意力，系统可以指出下一个操作步骤需要使用哪个工具。
• 进一步的研究涉及结合其他方法，如结构在长期记忆中的心理表征结构（例如，运动）的眼动研究。其目标是了解运动员在比赛中的视觉和行动行为，这取决于他们的专业水平（例如，他们的心理表征结构的质量），并为体育新手提供训练材料。
• 评估不同媒体对人类感知和可用性方面的影响，例如自然用户界面、网页或移动端（如卖场研究）。

从您目前的角度和丰富的眼动追踪经验来看，您会给那些考虑在研究中采用眼动追踪的人提出什么建议？

正如上述所述，眼动追踪是一种多功能的研究方法，可以用于许多不同的学科领域，如心理学、语言学、可用性研究、设计和计算机科学。

由于硬件和软件方面的重大发展，眼动追踪技术的使用变得越来越容易，即使对于没有技术背景的研究人员也是如此。此外，硬件的改进还打开了越来越多的应用领域，特别是远程和移动眼动追踪系统。

这使我们不仅可以调查传统问题（例如，我的网站或设计如何被感知），还可以调查许多有趣的新的研究问题，特别是在跨学科研究人员的协同中，例如在专业和休闲环境中提供个性化辅助系统以及驾驶员辅助系统。

能否分享您对未来工作的规划？您目前正在寻找答案的问题是什么？

如上所述，我的整体研究目标是发展人与技术系统之间的自然用户界面，以实现个性化定制和预期密切的交流。

仍有许多问题需要探索，例如：这样的界面应如何设计才能通过各种感觉实现自然交流？如何设计技术系统的反馈和意图，以便用户能够理解？系统如何能够最佳地从多模态用户数据中学习？用户如何能在任何时候停止或纠正系统的同时最佳地融入到通信环路中？

这些问题需要在国际和跨学科的团队中进行探索和相互学习（例如，文化差异等）。眼动追踪在这些方面将继续发挥重要作用。我希望不仅在研究中探索新的贡献，还能通过有趣的应用场景和评估技术（例如，注视视频的自动注释）来推广这项技术。

相关信息

要了解Essig教授的更多研究成果，请参考以下使用眼动追踪技术进行研究的精选出版物:

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A.,  & Essig, K. (2021). A VR Truck Docking Simulator Platform for Developing Personalized Driver Assistance. Applied Sciences, 11(19), 8911.

Lex, H., Essig, K., Knoblauch, A., & Schack, T. (2015). Cognitive representations and cognitive processing of team-specific tactics in soccer. PLoS ONE 01/2015; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). Automatic Analysis of 3D Gaze Coordinates on Scene Objects Using Data From Eye-Tracking and Motion Capture Systems.  In: Eye Tracking Research & Applications (ETRA 2012), Santa Barbara, California, USA.

要了解Essig教授的更多信息，请访问他的主页。