关于空间计算和眼动追踪的重要知识

  • Doug Eggert
  • 6 分钟

Futuristic way of working in engineering

最近,“空间计算”这个术语随着知名的增强现实(AR)和虚拟现实(VR)头戴设备的推出而变得流行起来。但是这个术语究竟是什么意思呢?它如何与扩展现实(XR)行业相关联?Tobii是如何应对实现空间计算潜力的挑战的呢?在这篇博客中,我们深入探讨了核心概念及其多样化应用。您还将了解到Tobii的眼动追踪和注意力计算技术如何无缝地集成,以增强这项技术的性能。

了解空间计算

“数字孪生”概念和对现实世界建模已经推动了土木工程领域的创新超过20年,我们利用技术来建立、塑造和维护我们周围的物理世界。空间计算的概念,简单来说是用于描述进一步缩小数字和物理世界相遇的边界以及我们如何与它们进行交互。

想象一下,如果您的电脑或手机能够清楚地理解并与您周围的空间无缝交互,就像您的房间或街道一样,在不将您的注意力从真实世界转移出去的情况下为您提供信息,使您的生活更轻松。这就是将虚拟现实(VR)和增强现实(AR)与现实相结合。因此,您可以戴上特殊眼镜或透过手机,您现在可以看到数字覆盖层——如信息、图像或动画——直接覆盖在实际世界之上。

Hologram digital transformation

这是技术与人类和谐共处的体现,符合我们的需求,与注意力计算密切相关,也是 Tobii 过去 20 年一直努力追求的目标。空间计算最令人兴奋的方面是什么呢?当技术具备智能,能够理解你正在关注什么时,设备就拥有了必要的信息,可以根据你的凝视或手势做出反应,以一种增强你的现实,提供那些否则可能让你感到困惑或需要翻找手机或其他设备才能找到的信息。我们从钢笔和纸的低效过渡到数字化,最终将头抬起,摆脱对数字信息的狭小窗口,将其引入我们的三维空间。

跨界应用

空间计算的应用是无限的。我的土木工程经验让我亲身体验到了空间计算在最实用的意义上的力量。虚拟现实和增强现实在帮助我可视化复杂数字信息方面的价值激发了我对这项技术及其潜力的兴趣。

空间计算不仅对设计、建筑和工程等领域具有革命性意义,还对多个领域产生了影响,包括:

游戏与娱乐
仅仅通过观察最新的增强现实(AR)和虚拟现实(VR)产品的表现,包括使用Tobii眼动追踪技术的索尼PSVR2,我们就可以看到空间计算如何将乐趣带到了全新的水平。空间计算已经显示出在促进远程协作和实现共享虚拟体验方面的潜力。随着技术和内容的成熟,它只会变得更好。空间计算提供的存在感远比传统沟通工具更具吸引力。

教育
学生如何获得以前几乎不可能获取的经验和信息呢?现在,他们可以从在教室里进行电路板的可视化和实验,到体验吉萨金字塔的巨大规模和比例,而无需离开教室。在空间环境中呈现信息有很多方式,这有助于我们更好地理解概念,特别是对于更偏向视觉学习风格的人来说。而且,空间计算不仅仅是视觉上的增强,它还为包括更多感官在内的机会引入了可能性。

VR model in the classroom

医疗健康
空间计算已经在医疗行业中得到应用,从帮助医生诊断像脑震荡这样的疾病,到帮助外科医生不仅进行训练,而且还能可视化表面看不到的内容,以使他们能够安全有效地执行复杂的手术。当然,这种技术也可以应用于其他复杂程度相似的行业,甚至可以为最简单的任务提供逐步指导。

市场营销
这项技术使你能够以几乎与亲手拿在手中相同的方式体验产品的可视化和定制。这使得通过利用在商店里使用的相同感官来进行虚拟试用、定制和产品选择成为可能,消除了不确定性,有助于推动购买决策。存在着无尽的机会用于特定背景下的广告、互动式营销内容和沉浸式品牌推广,从而能够更深层次地与客户建立联系。

augmented reality shopping

眼动追踪和空间计算的协同作用

眼动追踪与空间计算的结合是创新的完美组合。未来一定会在某个时刻,技术能够实现几十年前激发的空间计算愿景。

这是眼动追踪技术帮助我们更接近这一目标的一些基本方式的简要说明:

自然交互

当眼动追踪技术集成到设备中,实现了空间计算,设备就能够理解你在看什么。人工智能能够发挥作用的基础是理解人类的注意力和意图。简单地追踪用户的凝视可以实现更流畅、更自然的用户体验。沉浸感让情况变得更加严峻,因为任何“不自然”的事物都会令人恼火,甚至会引发恶心和头痛等身体症状。会导致宿醉的技术远非自然。

注视点渲染
它在增强用户体验数字虚拟内容方面发挥着关键作用,无论是叠加在现实世界中还是在虚拟环境中。没有人想要把笨重的 GPU 随身携带。注视点渲染优化了算力使用,保持高帧率以防止跳帧,确保流畅的用户体验。

情境意识
这对于空间计算至关重要。当设备知道你在看什么时,它可以在各种情况下提供有价值的反馈:社交互动、菜单导航、内容浏览和基于上下文的信息提供。通过与人工智能的集成,这种能力得到了显著增强。

自适应界面
眼动追踪技术实现了可以响应用户凝视的自适应界面。它可以根据用户的凝视位置显示或隐藏相关信息。这可以通过在需要的时候以及需要的地方精确呈现信息来改善可用性,减轻认知负担,从而提升整体用户体验。

行为分析
眼动追踪数据可以提供有关用户行为、注意力和偏好的洞察。空间计算系统可以分析注视模式,并利用该信息来个性化体验、优化内容位置和改进用户界面。这些数据可用于用户研究、可用性测试以及进一步推动空间计算技术的发展,同时也可以简化长期以来的眼动追踪研究实践的数字化过程。

利用眼动追踪技术克服空间计算中的技术难题

空间计算提出了几个技术挑战,需要妥当解决才能成功实施。以下是一些关键挑战:

追踪与定位
追踪和定位用户在物理世界中的准确位置和移动对于实现无缝的空间计算体验至关重要。在复杂和动态的环境中,需要强大的算法和传感器融合技术,以确保精确和实时的追踪。这与在显示面板前四处走动或移动完全不同,用户眼睛的定位对用户体验至关重要,尤其是在超出最简单的通知覆盖用例时。

环境映射
创建和维护物理环境的详细数字表示对于空间计算至关重要。挑战包括准确映射物理对象和表面、处理光照条件和遮挡的变化,并确保虚拟与物理世界之间的一致性。眼动追踪有助于准确渲染数字内容并将物体与用户视角对齐。

交互与输入方式
空间计算需要直观和自然的交互方法。开发允许用户与虚拟对象交互、进行手势并以舒适而精准的方式提供输入命令的输入机制是一项挑战。这涉及设计有效的用户界面,并利用手部追踪、语音识别和手势控制等技术,这些技术都依赖于眼动追踪作为物体和菜单选择的关键输入,而不过分依赖于复杂或笨拙的动作。尤其是随着使用时间的增加,重复动作变得越来越令人疲倦,而且在现实世界中也有许多免提使用情况。

算力
空间计算涉及实时处理大量数据,包括传感器输入、环境映射、渲染虚拟对象和提供无缝用户体验。确保足够的计算能力、减少延迟并优化性能是重大挑战,特别是对于移动和可穿戴设备而言。锥形渲染和数据传输是降低处理负载、实现更高视觉质量和舒适性能的一些方法。

内容创作与标准
开发高质量的空间计算内容需要新的工具和工作流程。设计师和开发人员需要适应创建3D虚拟对象和环境的独特要求。此外,建立跨不同空间计算平台和设备的互操作性和标准化对于广泛采用至关重要。Tobii 在这方面拥有丰富的知识,我们通过我们的网站向开发人员提供这些知识,并继续开发我们的平台,以提供符合最新标准的核心信号。

隐私与伦理
眼动跟踪技术可以用于正确定位、适应用户配置管理,并实现设备方便共享。然而,一个关键问题是用户隐私、数据安全和伦理考虑。捕捉和处理现实世界的数据可能引发隐私问题,因此建立明确的准则和保障措施以保护用户信息并确保对空间计算技术的负责任使用至关重要。Tobii 与所有合作伙伴密切合作,以确保我们的数据透明政策得以执行,以保护与我们技术互动的每个人的数据完整性和数据隐私。

展望

空间计算的概念已经逐渐改变了各行各业,这些行业更多地受到技术而不是人类想象力的限制。

Tobii DMS - business partners

利用眼动跟踪技术,特别是使用Tobii的解决方案,可以增强人机交互之间的协同作用,使整体体验更加自然、舒适和具有洞察力,而且设备和智能眼镜也更小更高效。无论我们用什么词来描述我们与虚拟内容互动的进展,只有当技术足够成熟以支持有意义的用例时,人们才会感兴趣,因为单纯的可穿戴显示器的新奇已经很久以前就被消耗殆尽。

Smart glasses

无论切入点是VR/MR头显还是AR智能眼镜,引入眼动追踪都是解锁空间计算全部潜力的战略性举措。在Tobii,我们凭借眼动追踪方面的专业知识克服技术挑战并提供低成本和可扩展解决方案的承诺,使我们成为有效解决XR行业当前创新挑战的可靠合作伙伴。在虚拟与现实世界之间的距离不断缩小的今天,通过Tobii探索眼动追踪和空间计算的变革可能性,打造能够重新定义用户体验的尖端产品吧!

联系我们

如果您想进一步了解XR的眼动追踪集成方案, 欢迎与我们的专家对话!

作者

  • Tobii Doug Eggert

    Doug Eggert

    VP of XR, Tobii

    In my role, I get to work directly with headset manufacturers, helping them integrate eye tracking into their hardware. My focus is the introduction of eye tracking for effortless interaction and immersion in virtual and mixed reality as well as enabling more capable devices with solutions such as foveated rendering and analytics. Personally, I am excited about the future of spatial computing, which helps me greatly in my role because I am passionate about working closely with our customers and engineering team to drive the widespread adoption of eye tracking in XR.

相关内容

Subscribe to our blog

Subscribe to our stories about how people are using eye tracking and attention computing.