眼动追踪 — 使元宇宙更加真实

几个月前，我去了美国，这是我18个月来的第一次。这次访问的目的是与客户、合作伙伴和同事见面。对于一些人来说，这是近两年来的第一次面对面的商务交往。这种经历，我相信我不是唯一有这种感觉的人，是一种如释重负和热情并存的体验。在经历了如此漫长的分离之后，面对面的相遇感觉就像是对人类对连接的需求的证明。这让我开始思考在疫情期间使一些企业能够继续运营的技术，以及科技世界继续推进这些解决方案的重要性，它们需要朝着直观性和真实的人际连接方面发展。

在这次帖子中，我的同事玛吉和我坐下来讨论了XR的现状，元宇宙的意义，对每个人的影响，以及眼球追踪将如何为此带来真实性。

尽管也许并没有被明确定义，但我认为元宇宙已经在悄悄发展了一段时间。它的产生是因为人们在不断发展的科技之间建立了创新的联系。元宇宙是一个混合现实（MR）空间，人们可以在那里聚在一起工作、玩耍、合作，甚至通过自己或者化身来谋生。这是一个任何人都可以从任何设备、任何地方进入的公平竞技场。科技平台和元宇宙解决方案将解决时间和空间的挑战，使在混合现实中相聚感到真实和连贯。

当然，很多炒作是因为像Meta（前身为Facebook）、微软和NVIDIA这样的大科技公司正在使用元宇宙来描述一系列技术的融合，也许更重要的是为消费者讲述故事而不被细节淹没。云服务、广域网和移动网络已经发展到可以支持复杂、带宽密集型服务，并为运营商提供可持续的商业模式。设备已经成熟，开始实现沉浸式体验的承诺，而且由于体积不断缩小和价格降低，采用率进一步提升，创造了对内容的新需求，并为开发人员提供了不断扩大的市场。当你把所有这些点连接在一起，你就得到了元宇宙所承诺的东西。

随着元宇宙的发展，由于其提供的沉浸感，我们将看到虚拟现实和增强现实可穿戴设备的受欢迎程度上升。空间声学将模拟真实的声音，这样人们可以身临其境地在混合现实空间中，并依靠听觉线索来进行互动。但是为了回答你的问题，Tobii的技术将实现在元宇宙中无法实现的真实连接，因为我们提供真实的眼神接触和对人类关注的理解-这是沟通的核心要素。从很小的时候起，孩子们学会遵循视觉线索，大约80%的我们大脑处理的信息是视觉信息。所以，当你直视一个人的眼睛或者观察他们的嘴唇如何移动时，意图的解释差异是巨大的，相比之下，只是盯着他们头顶上方看。所以，在元宇宙中进行适当的交流只有在设备配备了眼动追踪技术的情况下才能实现。

还有一个问题是控制器。它们并不一定那么直观，键盘或鼠标也是如此，但我们习惯于将这些输入方式视为将信息输入系统的手段。但为了确保真实的元宇宙体验，我们不希望在笨拙的方式下挥舞手或控制器，特别是在增强现实环境中。在现实生活中，我们使用手势、语言和眼神交流来表达意图。在元宇宙中我们也会同样地做。眼动追踪技术可以捕捉注视、头部运动和面部特征点，这将实现快速认证和直观交流，利用头部姿势和视觉线索。而新兴的无需手套的手部追踪技术很可能也会成为其中的一部分，因为它提供了另一种直观的输入方式。眼动追踪技术将支持使用简单直观的手势来替代指向动作和复杂的手势，可以搭配手套在寒冷的气候中使用。

对于使用增强现实设备进入元宇宙的人来说，眼动追踪至关重要，因为它提供了额外的数据。我们技术提供的信息类型将帮助开发人员将虚拟对象无缝融入到物理世界中。因此，眼动追踪将有助于减少现实世界和虚拟世界之间的视差，使用户体验愉悦，因为它们将感觉真实和连贯。这项技术对于开发多焦点显示和自动调焦系统也是基础性的。

办公室内工作人员已经习惯了使用多个显示器和设备，在选择解决方案时会根据自身需要和工作地点进行选择。与人体工程学对可持续工作条件的重要性一样，对于XR而言，舒适性也是至关重要的。你了解我们的合作伙伴Pico刚刚推出了第三代无线头盔，其中包括我们的眼动追踪技术，他们一直在致力于提升舒适性。他们进行了重大投资，因为他们知道舒适性对于人们能够全天候使用XR设备至关重要。

通过Tobii眼动追踪技术，你可以增强舒适性，因为头盔可以利用瞳孔间距测量来自动调整不同用户和滑动问题，而不会影响用户体验。

然后是晕动病的问题，高分辨率的图形可以帮助解决这个问题。这就是动态凹凸渲染（DFR）等技术的重要性，它能够保持XR设备在分割和设备处理体系结构中的性能。今年，我们看到NVIDIA推出了他们的变量速率超采样的第二个版本，VRSS 2，它利用了Tobii Spotlight技术。这两种技术合作，以最小的延迟向NVIDIA驱动程序提供注视信息，使开发人员能够为每个设备创建无需额外编码的利用DFR的应用程序。由此带来的稳定和高帧率有助于降低某些人在虚拟现实中经历晕动病的阈值。

图像质量和设备重量也对佩戴性有影响，这推动了折叠光学技术的发展和应用（在XR中通常称为松饼镜头），因为其外形因素和图像质量通常能够使头戴式显示器比传统的菲涅尔透镜设计更轻便、更紧凑。

为支持制造商转向商用设备中的松饼镜头，Tobii XR在2021年的研发工作中花费了大量精力来开发集成平台，以为这种新兴架构提供眼动追踪。我们的重点是设计出一种紧凑的设计，能够在不对头戴式显示器进行侵入性改变的情况下进行集成，并最大限度地减少资源消耗。我们已经在开发中有一些实施，期待在它们推出后更详细地谈论。

我想说另一个主要的硬件发展是商用头戴式显示器中眼动追踪的采用。去年（2021年），我们发布了两款装备我们眼动追踪功能的设备——Pico Neo 3 Pro Eye，我已经提到过了，以及HP Reverb G2 Omnicept Edition。Pico的成功表明了对独立设备的需求，而HP则需要额外的传感器。还有我们与Pimax宣布的合作，他们将为消费者带来元宇宙的全部潜力。从Tobii的角度来看，我会说我们的设计理念，确保我们的技术符合"人人，处处，一切设备"的原则，对于希望将眼动追踪嵌入消费者设备的制造商来说是一个关键的差异化因素。

Meta和索尼Playstation发布的消息显示，眼动追踪技术将成为它们下一代消费者头戴式显示器的一部分，我相信这将很快实现。

这使我们更深入地探讨了我刚提到的系统符合每个人、每个地方、每个设备的原则（三个e）。因为，正如你所知，开发一个在受控环境中运行的眼动追踪系统相对容易，但要开发符合三个e原则的系统并不容易。我们已经进行了二十多年的研究，并获得了交付一个实用解决方案的能力——一个适应不同眼形、眼色、视网膜反射率、视力矫正等的解决方案。但对于消费环境来说，不仅仅是覆盖95%的人口，还要提供一个可在大规模生产中重复使用的稳定解决方案。如果你想了解更多我们是如何做到这一点的信息，你可以查看Andreas在他的帖子《为XR解密眼动追踪的重要性》中阐述了构建通用技术的重要性。

嗯，我会说这是一些常见的领域，包括医疗保健和健康、合作、游戏、社交、教育和基于模拟的培训。但是，我会说医疗保健和健康是企业部门中的佼佼者。我这么说是因为我们在2021年看到对Tobii Ocumen的增加兴趣 —— 这是我们的数据记录、整理和人类行为分析工具包，这些先进的应用程序需要这样的工具。

还记得我们与SyncThink的Scott Anderson会面，寻找扩展性的关键，他谈到他们是在等待完美的硬件出现吗？我认为我们可以预计会看到更多这样的应用程序，它们正在等待合适的硬件和眼动迹象。而我们的合作伙伴REACT Neuro和Apeiron Life已经通过几十年认真研究了认知表现重要性。正如Martin博士所指出的那样，健康不再局限于保持身体活动和正确饮食，还包括预防认知能力下降。

在消费者方面，社交和游戏应用程序将会迎来爆炸式增长，考虑到目前的兴趣水平和平台的发展。我还认为这些领域是消费者最能欣赏元宇宙的领域。对Tobii来说，这意味着我们将继续与头戴设备制造商、开发人员和内容创作者密切合作，将代表实境感、逼真的头像、直观的界面和生物特征进行身份验证等功能引入元宇宙。

通过开放标准来促进跨平台敏捷性是最有效的方法之一，因为它们有助于防止供应商封锁和耗时的设备适应。但它也允许大科技公司和小众运营商合作。正如你所知，OpenXR在2020年推出了眼球追踪的扩展标准，但今年我们可以期待的是该标准在商用头显和支持解决方案（如微软Windows MR平台）中的实施。

对我而言，这意味着在每个设备上进行眼动追踪，这将需要像我们的集成技术来实现“每个人、每个地方、每个设备”的原则。我们将看到设备类型的持续多样性，其中模拟环境的主力设备会继续存在，但主要趋势指向了无线、轻便的头戴设备。对于开发者来说，元宇宙为叙事和新应用提供了一个坚实的平台。我们可以期待看到一些早期的消费者级示例，但像大多数新兴解决方案一样，最初的体验可能会有些片段化。将会有许多协作应用程序，将帮助企业消除组织界限，并消除时间和空间限制所造成的壁垒。例如，VirtualRetail.io 已经提供了一个很好的例子。

对消费者来说，看到Meta的Horizon已经通过了测试阶段，迈向更广泛的公开发布阶段，将会很有趣。我们可能还没有达到公平的竞争环境，但我们将会看到配备眼球追踪功能的增强设备，以及真实的头像、真实的眼神交流、易于使用的界面和增强的游戏体验。

谢谢，Maggie，很高兴再次亲自见到你，但现在又得回到虚拟世界了。