在虚拟现实中衡量认知负荷 — 三者之力

在这个以创新为核心的故事中，我采访了Soma Reality的战略合作总监Julia Kern。Soma Reality是一家奥地利初创公司，致力于开发数字环境中的神经心理学洞察力。

我在2022年的后半年期间与Kern见面，当时正值ChatGPT和其他生成式AI机器人占据新闻头条的时候。快进几个月到今年初发布的GPT-4，我对这种多模式语言模型将如何影响我们的工作、学习和生活方式所产生的全面变化感到震撼。GPT-4 "在各种专业和学术基准上表现出与人类水平相当的性能"，这让我（我相信我不是唯一一个）反思我们对人类认知能力的理解程度以及我们可以多快地提高学习效率和效果。

当我和Kern交谈时，她谈到了人们对认知负荷的日益关注，以及他们基于眼动追踪技术的首个数字生物标志物，以及她的公司如何利用这一趋势。在这篇文章中，我将分享Kern在虚拟现实中测量认知负荷方面的见解，以及教育和医疗领域将如何受益，以及三个要素——专业知识、虚拟现实和眼动追踪技术——如何使Soma能够为任何人在任何地方计算神经学洞察力提供强大的解决方案。

对于认知负荷的兴趣日益增长

如果您询问ChatGPT认知负荷的定义，它会回答以下内容：

“认知负荷是指在工作记忆中处理信息所需的心理努力或资源的量。它衡量了一个人在完成任务或解决问题时能够有效处理和保留在记忆中的信息量。”

科学界渴望扩大对认知负荷的理解，因为它在学习、界面设计和医疗保健等领域具有广泛应用，公众意识也是一个因素。随着人口的老龄化，神经退行性疾病变得更为普遍，影响着大多数人的生活。政府和组织正在大力投资长寿和认知相关研究，为科技行业提供创新的早期检测和治疗方案创造机会。但是，任何旨在提供有关一个人的学习能力或健康状况的见解的解决方案——无论是手动还是计算机化的——都需要良好的数据和成熟的研究来确保取得积极的成果。

在VR中测量认知负荷的方法

Kern解释了对任务引发的瞳孔反应的研究，这表明瞳孔大小与认知过程需求之间存在线性关系。随着需求的增加，我们的眼睛会产生微小的无意识瞳孔波动——这是我们无法控制的反应。她指出，我们对这些运动的无法影响使得瞳孔大小成为认知负荷可靠且可量化的生物标志。

光线环境也会引起瞳孔大小的变化，即瞳孔对光的反射（PLR）——在明亮环境中变小，在黑暗环境中变大。因此，为了在虚拟现实环境中准确测量认知负荷，Kern解释了需要区分光线对瞳孔大小的影响和神经学影响，这可以通过计算虚拟现实显示屏的亮度来实现。

虚拟现实

作为一种产出方式，虚拟现实带来了许多优势。其封闭环境有助于排除外界影响，您可以使用它来评估认知负荷，确保您所测量的是真正的负荷而不是受其他人、事件或物体影响的响应。而且，由于其移动性的特点，VR使测试能在需要的地方进行，我认为这让虚拟现实相对传统计算具备更强的真实感和存在感。VR让人们置身于尽可能接近现实的环境中，这意味着任何由此产生的认知负荷评估将尽可能准确。例如，VR可以让人们为可能在他们选择的职业中遇到的压力体验做好准备。而且，虽然眼动追踪可以提供用于计算其他平台上的认知负荷的数据，VR可以提供有用的感官信息，如运动、心率和皮肤反应，而无需额外的硬件或传感器。

尽管Soma Reality已经设计了一种独有的硬件无关认知负荷算法，但从实际情况来看，对于高级眼动追踪信号的需求促使Soma与Pico Neo 3 Pro Eye头戴式设备合作开发——该平台因其无线移动性、处理能力、Tobii内置眼动追踪和良好的性价比而在开发者中受到欢迎。

为何选择 Tobii及其 Tobii Ocumen 方案 - 眼动追踪

当问道选择Tobii的原因时， Kern回答道:

评估认知负荷的Soma算法利用了Tobii Ocumen提供的实时瞳孔直径测量值。Kern表示，Tobii Ocumen提供的数据的稳定性和颗粒度，再加上Pico Neo 3 Pro Eye VR头显的便携性和处理能力，构成了一个强大的组合。

也许你正在考虑使用Tobii Ocumen进行开发，想要了解可以获得什么样的数据。在那种情况下，我可以告诉你，除了标准的眼动追踪数据，如凝视向量和原点之外，我们设计Tobii Ocumen还可以提供高级指标，如瞳孔直径和双眼各自的注视点。我们努力使产品易于使用，其中包括引入了过滤器数据库和数据记录与回放功能。通过准确测量正确的生物标志物，我们充分发挥自己的专业知识，并使解决方案开发者能够充分发挥他们的专业知识。

这就引出了我下一个问题：在拥有专业知识、虚拟现实和眼动追踪这三个条件的情况下，你可以做些什么？

学习与技能培训

根据Kern的说法，在虚拟现实环境中学习的新技能保留率可能是传统教育方式的四倍。Soma的认知负荷算法可以根据用户行为调整虚拟现实学习场景，使学习在学生处于理想学习状态时进行。学习应用可以利用这个算法，例如，通过提供有关学生认知状态的反馈，防止学生感到厌倦或过载，教师（或应用程序）可以根据这些反馈调整内容。

医疗与健康

认知负荷是大脑活动的指标，因此可以将Soma的技术应用于各种应用中，例如个性化治疗、远程临床试验和神经退行性疾病的早期发现。我希望他们的解决方案能够迅速成熟，有望延缓阿尔茨海默病等疾病的发作，并给数百万人及其家庭带来帮助。

游戏演示

Soma开发了两款小游戏——《飞行颜色》和《Soma数学》——以展示认知负荷评估在虚拟现实中的工作原理。与之前我在手机上玩过的类似游戏《思维列车》相比，我觉得《飞行颜色》更全面地显示了不同水平的认知负荷。这些结果可以与训练认知能力不同方面的其他游戏进行比较，从而提供更细致入微的认知能力理解。

总结： 三者之力

当我们交谈时，我发现科技可以是多么复杂，但当我们分别专注于专业领域——Tobii专注于眼动追踪并为每个人提供强大的数据，OEM提供支持便利和真实测量的计算强大平台，而Soma则利用他们对认知过程的知识——我们就可以创建改变许多人生命的创新解决方案。

Kern还分享了他们的计划，通过使下一代数字应用程序具备感知和适应能力来增强力量。他们的路线图包括实验以评估认知功能，并开发利用认知负荷评估来增加参与度和保留度的适应性培训项目。在初步认知负荷算法之后，Soma打算扩大他们的数字生物标志物组合，以涵盖注意力和其他认知过程。我迫不及待地期待着这些项目和实验的结果，并想感谢Julia抽出时间讨论这个极具吸引力的话题。

如果您想了解更多有关Soma Reality的解决方案，请访问她的个人主页。