虚拟和增强现实头盔的设计目的是让佩戴者直接进入其他环境、世界和体验。虽然这项技术已经因其身临其境的品质而受到消费者的欢迎，但未来全息显示看起来可能更像真实生活。为了追求更好的显示器，斯坦福计算成像实验室结合了他们在光学和人工智能方面的专业知识。11月12日发表在《科学进展与工作》杂志上的一篇论文详细介绍了他们在这一领域的最新进展，该论文将在2021年12月的亚洲SIGGRAPH上发表。
这项研究的核心是面对这样一个事实:当前的增强和虚拟现实显示器只向每个观众的眼睛显示2D图像，而不是我们在现实世界中看到的3d或全息图像。
“它们在感知上并不现实，”斯坦福计算成像实验室(Stanford Computational Imaging Lab)负责人、电子工程副教授戈登·韦茨斯坦(Gordon Wetzstein)解释道。Wetzstein和他的同事们正在研究解决方案，以弥合模拟和现实之间的鸿沟，同时创造出更吸引人的视觉效果，更容易让眼睛看到的显示器。
发表在《科学进展》(Science Advances)杂志上的这项研究详细介绍了一种减少斑点畸变的技术，这种畸变经常出现在常规的基于激光的全息显示器上，而SIGGRAPH Asia的论文则提出了一种更真实地表现物理现象的技术，如果3D场景存在于现实世界，这种物理现象将应用于3D场景。
桥接仿真与现实
几十年来，现有全息显示器的图像质量一直很有限。正如Wetzstein所解释的那样，研究人员一直面临着一个挑战，即如何让全息显示器看起来和液晶显示器一样好。
一个问题是很难在全息图的分辨率下控制光波的形状。阻碍高质量全息显示的另一个主要挑战是克服模拟场景与真实环境中相同场景之间的差距。
此前，科学家曾试图创建算法来解决这两个问题。Wetzstein和他的同事也开发了算法，但使用的是神经网络，一种试图模仿人类大脑学习信息的人工智能形式。他们称之为“神经全息术”。
“人工智能已经彻底改变了工程和其他领域的方方面面，”Wetzstein说。“但在全息显示或计算机生成全息这一特定领域，人们才刚刚开始探索人工智能技术。”
彭一凡是斯坦福大学计算成像实验室的博士后研究员，他正利用他在光学和计算机科学方面的跨学科背景，帮助设计用于全息显示的光学引擎。
“直到最近，随着机器智能创新的兴起，我们才有机会使用强大的工具和能力来利用计算机技术的进步，”彭说，他是《科学进展》这篇论文的主要作者之一，也是SIGGRAPH这篇论文的合著者。
这些研究人员创造的神经全息显示器包括训练一个神经网络来模拟真实世界的物理现象，并实现实时图像。然后，他们将其与一种在回路中的摄像机校准策略进行配对，该策略可以提供近乎即时的反馈，以告知调整和改进。通过创建一种算法和校准技术，与所看到的图像实时运行，研究人员能够创造出更具真实感的视觉效果，具有更好的色彩、对比度和清晰度。
SIGGRAPH Asia的新论文强调了该实验室首次将神经全息系统应用于3D场景。这个系统产生高质量的、真实的场景表示，包含视觉深度，即使部分场景被有意描述为遥远或失焦。
“科学进步”项目使用了相同的环形摄像头优化策略，结合人工智能启发的算法，为使用部分相干光源(led和sled)的全息显示提供了一个改进的系统。这些光源因其成本、尺寸和能量需求而具有吸引力，而且它们也有可能避免由依赖相干光源(如激光)的系统产生的斑点图像。但是，有助于部分相干源系统避免斑点的相同特性往往会导致缺乏对比度的图像模糊。通过建立一种特定于部分相干光源物理的算法，研究人员使用led和SLEDs制作了第一个高质量无斑点全息2D和3D图像。
变革的潜力
Wetzstein和Peng相信，这种新兴的人工智能技术与虚拟现实和增强现实的结合将在未来几年在许多行业变得越来越普遍。
“我非常相信可穿戴计算系统、AR和VR的未来;我认为它们将对人们的生活产生变革性的影响。”他说，未来几年可能不会出现这种情况，但Wetzstein相信增强现实是“伟大的未来”。
虽然增强虚拟现实目前主要与游戏有关，但它和增强现实在许多领域都有潜在的用途，包括医学。医学生可以使用增强现实进行培训，也可以直接将CT扫描和核磁共振成像的医疗数据叠加到患者身上。
“这种类型的技术每年已经用于数千例手术，”Wetzstein说。“我们设想，更小、更轻、视觉更舒适的头戴式显示器将是未来手术计划的重要组成部分。”
英伟达的访问学者、这两篇论文的合著者金钟铉(Jonghyun Kim)表示:“看到在相同的硬件设置下，计算能够提高显示质量，这是非常令人兴奋的。”“更好的计算可以做出更好的显示器，这可能是显示器行业的游戏规则改变者。”
