什么是扩展现实(XR)?
2022-06-10 18:37
扩展现实技术的进步已经改变了我们的工作、生活和娱乐方式,而这才刚刚开始。
扩展现实(XR)是虚拟现实(VR)、增强现实(AR)和混合现实(MR)等各种新沉浸式技术的统称。
从游戏到虚拟生产再到产品设计, XR 使人们能够在计算机生成的环境中进行前所未有的创造、协作和探索。
什么是扩展现实?
VR、 AR 和 MR 都属于 XR 技术。
VR 能够将用户带入虚拟环境中。VR 用户一般需要戴上头盔才能进入到虚拟世界——一瞬间,他们就可以从现实世界沉浸入模拟环境中。
最新的 VR 技术突破了这些界限,使模拟环境看起来和运作得更像真实世界,同时还增加了对触觉、听觉和嗅觉等其他感官的支持。
通过 VR,玩家可以获得完全沉浸式的视频游戏体验,设计师和客户可以在施工前审查建筑项目以确定细节,而零售商可以在购买实物之前进行虚拟显示测试。
AR 能够将渲染图像叠加到真实世界中。手机游戏《精灵宝可梦GO》(Pokémon GO)让玩家在社区里闲逛时,可以看到计算机渲染的宝可梦“出现”在草坪和人行道上。这款游戏使 AR 成为了一项主流技术。
AR 图像可以通过手机、平板电脑和其他设备显示,为用户带来新的互动体验。例如 AR 可以改进导航功能。相比 2D 地图,增强现实可以将方向叠加在驾驶员透过挡风玻璃所看到的道路上,驾驶员可以根据模拟箭头准确地转向。
MR 将真实世界与渲染图形完美融合,创造出用户可以直接与数字和物理世界一起互动的环境。
MR 将真实和虚拟事物融合在一起,并在同一个显示器中呈现。用户可以通过头显、手机或平板电脑体验 MR 环境,并通过移动数字物品或将数字物品放入物理世界来与之互动。
MR 分为两种类型:
将虚拟事物融入真实世界,例如用户通过 VR 头盔中的摄像头看到真实世界与完美融入到视图中的虚拟事物。
将真实世界中的事物融入虚拟世界,例如将摄像头拍到的 VR 参与者视图融入到虚拟世界中。在虚拟世界中游玩的 VR 游戏玩家就是很好的例子。
XR 的发展史
了解 XR 的发展历程,首先要了解作为其起源的 VR。
起先, VR 技术用于在飞行模拟器中训练人员。能源和汽车设计行业也从很早就开始采用 VR。当时的这些模拟和可视化 VR 用例需要大型超级计算机以及专门的空间,包括由超高分辨率显示器组成的 powerwall 立体投影显示系统,以及将 VR 环境投射到房间墙壁和天花板等各个表面的 VR CAVE(Cave Automatic Virtual Environment,洞穴式自动虚拟环境)。
之后的几十年,大多数用户始终负担不起 VR,而小型 VR 的使用者主要是大型机构和学术研究人员。
但在上一个十年的初期,几项关键的组件技术迎来了转折点,推动了 HTC Vive 和 Oculus Rift 头戴式显示器(HMD)以及 SteamVR runtime 的出现。
如今,普通人可以购买个人 HMD 来体验高度沉浸式的内容,而且可以通过个人电脑或配备强大 GPU 的工作站来驱动这些 HMD 和 VR 体验。
数百万人仿佛在一夜之间都可以接触到 VR,充满创新和热情的庞大生态系统也随之迅速兴起。
近年来,一体式(AIO)头盔的推出点燃了新一轮的 VR 创新。在此之前,完全沉浸式的 VR 体验需要与功能强大的个人电脑进行物理连接。由于既没有操作系统,也没有图像计算能力,因此 HMD 无法作为独立的设备运行。
AIO 头盔是设置简单并且可以随时随地为用户提供完整 VR 体验的专用设备。再加上 VR 流式传输技术方面的创新,用户现在即便在旅途中也能体验令人震撼的 VR 环境。
最新 XR 趋势
高质量的 XR 正变得越来越容易获得。全世界的消费者正在购买 AIO,以获得沉浸式游戏、远程学习、虚拟培训等各种 XR 体验。大型企业正在将 XR 加入到其工作流程和设计流程中。随着数字孪生的出现,扩展现实大幅改善了设计执行。
通过 5G 从云端流式传输 XR 体验是当今最大的趋势之一,它使 XR 体验不再受到工作站或空间的限制。
通过 5G 云端流式传输,人们可以使用 XR 设备并从数据中心获得运行 XR 体验所需的算力,而且不受地点和时间的限制。像 NVIDIA CloudXR 这样的先进解决方案正在使沉浸式的流式传输变得更加普及,使更多 XR 用户可以在任何地方体验高度逼真的环境。
AR 也正变得日益普及。在《精灵宝可梦GO》家喻户晓之后, AR 又出现在一些以消费者为中心的领域:许多社交媒体平台增加了具有美颜功能的滤镜;零售企业使用 AR 展示逼真的 3D 产品,使客户能够将这些产品放入房间并在任何空间中显示。
此外,建筑、制造、医疗等行业的企业正在使用这些技术大幅改进工作流程并创造独特的交互式体验。例如,建筑师和设计团队正在将 AR 整合到建筑项目的监控中,这样他们就可以看到现场的进展并与数字设计进行比较。
虽然 MR 仍是相当新的技术,但它已在 XR 领域开始发展。用户可以从 Varjo XR-3 等许多新的 MR 专用头盔中看到其发展趋势。凭借 MR 头盔,工程、设计、模拟和研究领域的专业人士可以在现实生活中开发 3D 模型并与之互动。
Varjo XR-3 头盔(图片由 Varjo 提供)
XR 的未来
随着 XR 技术的发展,另一项技术——人工智能(AI)正在推动用户进入新时代。
从为 VR 中的设计师提供帮助的虚拟助手,到引导个人完成 DIY 项目的智能 AR, AI 将在 AR 领域发挥重要的作用。
想象一下,戴着头盔就可以通过自然语言和手势作出指令;凭借免提和语音驱动的虚拟代理,即使是非专业人士也能创造出令人惊叹的设计、完成极其复杂的项目并充分发挥强大应用的功能。
像 NVIDIA Omniverse 这样的平台已经改变了用户创建 3D 模拟和虚拟世界的方式。Omniverse 使全球各地的用户都可以开发和操作数字孪生模拟。通过该平台,用户可以灵活地通过 2D 显示器或他们喜爱的 XR 体验进入物理精确的全光线追踪虚拟世界,身临其境地体验广阔的虚拟世界。
XR 的发展将带来近乎无限的可能性。