动态注视点渲染技术简介

Tobii Spotlight 技术

在过去的二十年中，Tobii已经成为全球领先的眼动追踪公司，提供各种设备和用例的眼动追踪和用户感知技术。如今，Tobii的眼动追踪技术可以在笔记本电脑、虚拟现实头显、增强现实眼镜、创新医疗解决方案、辅助设备以及许多其他应用和产品中找到。最近，Tobii一直在研究一套与凝视相关的技术和能力，我们称之为Tobii Spotlight技术。本文旨在探讨眼动追踪在XR中的优势，重点关注Tobii最近进行的基准测试。

视觉中央凹

让我们从一些背景知识开始。注视点渲染是一种图像渲染的计算过程，是模仿人类视觉的工作方式。动态注视点渲染（DFR）利用眼动追踪来将处理和带宽使用集中在需要高分辨率的图像区域上——即被试正在观察的视网膜区域——并向周围提供较低分辨率。以这种方式优化图像可以模拟人类视觉，同时减少带宽和处理需求，降低延迟，提高响应时间。

Tobii Spotlight技术是一种先进的眼动追踪解决方案，专为注视点渲染而设计。它实时提供准确、低延迟的用户眼动追踪，实现优秀的动态注视点渲染，模拟真实的人类视觉。通过减轻GPU的负担并提高整体渲染速度，Tobii Spotlight技术改善了VR应用的整体体验：

• 更好的图像质量 — GPU 的节省使得高分辨率图像可以在视网膜区域实时渲染。对于分辨率更高的头戴式显示器来说，DFR 的收益更大，因为DFR可以显著减少着色负载。
• 更高更流畅的帧率 — 帧率定义了VR应用的性能和存在感。帧率下降（通常出现在复杂着色渲染的情况下）会导致视觉抖动，这对用户来说是明显的，甚至可能导致晕动病或恶心。DFR有助于保持更流畅的帧率，在场景中最复杂的着色部分节省最大。
• 增强的图形效果 — 与标准PC游戏相比，VR应用在渲染方面要求非常高。为了保持相同水平的性能，开发人员传统上会优化应用本身，这可能会导致场景质量降低或禁用一些实时效果。DFR使得更复杂、更逼真的着色成为可能，而不会增加GPU负载，使开发人员能够在应用中包含更高质量的设置，而不会影响性能。
• 节能 — GPU负载的减少还可以为笔记本电脑、头戴式显示器和其他电池供电设备带来潜在的节能效果。

DFR与NVIDIA的可变速率着色（VRS）

今天，许多开发者将注视点渲染与NVIDIA VRS联系在一起——这是一种渲染技术，可以更精细地控制着色密度和真正的超采样。有了VRS，开发者可以选择提高视觉质量、减少GPU成本，甚至在两者之间取得平衡。

VRS将不同程度的处理能力应用于图像的不同区域。这项技术通过改变由单个像素着色器操作处理的像素数量来实现。现在，这些操作可以应用于像素块，使应用程序能够有效地在屏幕的不同区域变化着色质量。

为了达到最佳效果，VRS还可以与眼动追踪配对，将最佳渲染质量与用户的凝视匹配。NVIDIA VRS自定义模式允许开发者根据中央凹区域优化着色密度。中央凹区域越小，从GPU节省中获得的收益就越大。中央凹区域的大小由以下因素决定：

• 有效视场 — 视线聚焦的角度范围不随视场的变化而变化。换句话说，显示屏的高质量部分所占比例随着视场的增加而减少。
• 注视点渲染技术产生的图像伪影。
• 被跟踪的视线聚焦呈现的延迟。
• 眼动追踪系统的准确性和稳健性。
• 用户对图像伪影的敏感度。

使用VRS(可变速率着色)的DFR(动态焦点渲染)在结合了低延迟的眼动追踪信号时，能够为用户提供最优化的定制模式。这最大化了在应用程序中启用VRS的好处，因为可以大幅度降低着色率，这提高了应用程序的整体性能，并且可以在视网膜中心区域使用超采样技术实现更好的图像质量。

适应用户

并非所有的眼动追踪信号都是一样的。延迟、频率、准确度和噪音都是影响中央凹区域大小的明显因素。也许不太明显的是信号可靠性、人群覆盖范围、角度准确度衰减和眼动追踪信号的伪像的影响。

此外，眼动追踪的能力因人而异。有些人易于追踪，而有些人根本无法被追踪。一个通常容易被追踪的用户可能会因疲劳、脱水和疾病而变得不易被追踪。有效的注视应该考虑到这种变异性。

Tobii已经在眼动追踪的特定信号研究方面投入了大量资源，包括开发专门的注视点渲染追踪信号，减少或消除一些可能存在于非专用信号上的受损信号伪像。

基准测试

最近，Tobii进行了一系列基准测试，比较了固定和动态注视点渲染的性能优势。固定注视点渲染（FFR）是一种假设前向视角并限制显示区域的渲染成本的技术，这些区域在头显中不会清晰可见，主要位于镜头失真区域。另一方面，DFR将注视点区域移动到用户所看的地方，进一步减小了注视点点区域的大小。

结果（与无注视点渲染相比）清晰地表明了:

• DFR（Dynamic Foveated Rendering）在运行带有锁定6自由度（确保每个预设都有恒定的帧率）的测试时，使得GPU 着色负载平均减少约 57％。对于场景中像素密集度更高的部分，减少幅度更大。
• DFR 将 GPU 负载大幅降低，使得未来头戴设备能够实现 8K 及以上分辨率。
• DFR 使开发者能够添加复杂的着色器和效果，从而提升图形表现，同时保持高性能。

在对Vive Pro Eye进行测试时，我们优化了变速率着色的视觉焦点参数，以实现DFR的着色率为16%。对于固定的着色，我们已将着色密度配置为40%，这对Vive Pro Eye头戴设备参数最为适用，在启用时对用户的外围视觉不会产生明显影响。屏幕分为几个区域，从视觉焦点（用户正在看的地方）到中部（从视觉焦点到外围的过渡），再到外围（该区域经过了最大增益的优化）。在下图中，彩色覆盖层显示了FFR和DFR的不同大小和形状参数的区域。颜色编码是基于密度的对数梯度，其中蓝色 = 1个样本，紫色 = 1/4个样本，紫红色 = 1/8个样本，红色 = 1/16个样本，黑色 = 被剔除。

Showdown VR 是一种具有可变复杂度场景的电影体验，在场景的不同部分具有不同的复杂度。这使我们能够对GPU着色负载进行最高和最低的采样，并在全渲染、固定渲染和动态渲染模式下进行比较。在下图中，我们观察到对于场景的某些部分，全渲染的着色负载大幅增加（检查第二次爆炸）。对于场景最重的部分，DFR的着色负载结果相对一致，即使是最重的部分也没有太多的峰值，使得体验更加平滑。在下面的测试中，我们考虑了对场景的轻微修改——场景已经超采样了3倍，以提高分辨率以获得更好的图像质量。在这里，我们观察到GPU着色负载的进一步减少，DFR约为74.59%，尽管场景的整体着色负载已经增加。

下一代头显的目标是实现更高分辨率和更大的视野范围，这需要在屏幕上渲染更多的像素。在下面的图表中，对于普通的VR应用程序，我们观察到渲染的像素呈指数增长。与动态注视点渲染（DFR）相比，对于分辨率更高的头显设备，如8K及以上，存在显著的像素数量下降。这直接影响了GPU的着色负载，因此随着头显设备分辨率的增加，采用DFR的节省算力的资源的量级也随之增加。对于现有一代头显设备的应用程序，这也同样适用于超采样。

开发者也可以选择利用这些性能增强的优势来大幅增强场景中的视觉效果，同时保持平滑的帧率。这使得开发者和设计师能够在视觉和复杂着色器方面挑战极限。在下面的图中，我们对Showdown VR进行了一些修改测试，以改善着色器和光照效果，而不增加额外的负载成本。

结论

对于虚拟现实应用程序来说，保持持续高性能非常重要。动态注视点锥渲染（DFR）使应用程序能够保持这种高性能，并且支持更高的分辨率和更好的视觉效果。当 Tobii Spotlight 技术与 NVIDIA 的可变率着色等技术结合时，我们可以最大限度地从减少 GPU 着色负载的焦点利用中获益。除了渲染之外，Tobii Spotlight 技术还具有用于动态注视点的几种应用，如注视点传输和流媒体。

更多与Tobii Spotlight 技术相关的信息

请访问 Tobii Spotlight技术 页面了解更多与注视点渲染相关的内容。

观看Siggraph 讨论小组的其他信息：

如果您想进一步了解Tobii Spotlight 技术相关的更多内容

欢迎下载我们的电子书： Eye tracking and dynamic foveated rendering — technologies that solve the VR challenge.