GTC22 | DRIVE Sim 平台发布新功能 NRE，借助 AI 技术重构真实世界
2022-09-30 14:16
#人工智能 #深度学习 #GTC22
分享到微信
分享到微博
DRIVE Sim 中的神经重建引擎（Neural Reconstruction Engine，NRE）可以将录制的真实驾驶数据转化为自动驾驶仿真。
自动驾驶汽车仿真面临着两项挑战：一是生成细节丰富、高度逼真的仿真世界，来让 AI 驾驶员“信以为真”，二是生成规模足够大的仿真，以涵盖 AI 驾驶员所需的充分训练和测试。
为应对这些挑战，来自 NVIDIA 的研究人员创建了一项全新的 AI 工具，可以直接基于真实世界数据来构建仿真。NVIDIA 创始人兼首席执行官黄仁勋在 GTC 主题演讲中介绍了该项技术突破。
神经重建引擎
神经重建引擎（NRE）是 NVIDIA DRIVE Sim 仿真平台上的一个全新 AI 工具集，它能够使用多个 AI 网络，可以将传感器采集到或者以其他形式被记录保存下来的真实场景数据转化为仿真。
这个工作流运用 AI 技术来自动提取仿真所需的关键部分，包括环境、3D 资产和场景，然后将这些内容重构成仿真场景。这些场景既具备数据记录的真实性，又能够进行全面的反馈，而且可以按需操控。相反，如果通过人工方式来实现相同细节和多样性水平的场景，不但成本高、耗时长，且无法扩展。
环境和资产
要进行仿真，就需要可操作的环境。该 AI 工作流能够把现实世界中的 2D 视频数据转换成可以加载到 DRIVE Sim 中的动态 3D 数字孪生环境。
使用 AI 基于驾驶数据记录生成 3D 模拟环境
DRIVE Sim 的 AI 工作流采用类似的流程来重构其他 3D 资产。工程师可以使用这些资产来重构当前的场景，或将它们放入到更大的资产库中，用于以后其他的仿真。
使用资产采集工作流是持续拓展 DRIVE Sim 素材库，并确保其与现实世界中的多样性和分布相匹配的关键。
可以从真实世界数据中获取资产，将其变成 3D 物体，并在其他场景中重复使用。比如，这里的拖车在左边的场景中重构后，被用于右边所显示的另一个仿真场景
场景
本文中的场景，是指在添加了资产的环境中进行仿真时所发生的事件。
神经重建引擎会将 AI 行为分配给场景中的人物，因此当其面对原始事件时，他/她的行为与在现实中实际驾驶时的行为完全一致。此外，由于仿真中的人物具有 AI 行为模型，因此他们可以对自动驾驶汽车或其他场景元素的变化做出响应和反馈。
此外，由于这些场景都是在仿真世界中发生的，开发人员可对其进行进一步的操作，如，加入新的场景，或者改变事件的时间和地点。开发人员甚至可以加入新的合成或真实元素，使场景变得更具挑战性，例如在下面的场景中加入一个追着球的孩子。
合成物体可以与真实世界场景的融合
与 DRIVE Sim 相集成
当环境、资产和场景被提取出来后，可在 DRIVE Sim 上进行重组，创建出所记录场景的 3D 模拟，或者通过与其他资产混合来创建一个全新的场景。
DRIVE Sim 为开发者提供了调整动态和静态物体、车辆路径以及车辆传感器位置、方向和参数的工具。
DRIVE Sim 中的相同场景也会被用于生成预标记的合成数据，以便训练感知系统。与此同时，随机化原则也被应用在重建的场景之上，从而增加训练数据的多样性。基于真实世界数据构建场景，大大缩小了仿真与真实世界的差距。
可以使用合成资产增强重构的场景，并使用这些场景生成用于训练自动驾驶汽车感知系统的真值数据
仿真格式混合与匹配功能将为自动驾驶汽车的大规模测试和验证带来巨大的便利，工程师们可以在一个反应灵敏、精准匹配其需求的世界中操作各种事件。
作为 NVIDIA 研究团队的工作成果，神经重建引擎将被集成到 DRIVE Sim 的未来版本中。这项突破将使开发人员能够在同一个云平台上充分运用基于物理学、神经驱动的仿真。
正如之前提到的，在仿真中重建真实驾驶场景并从中生成真实的数据是一个费时费力的过程。这需要技术经验丰富的工程师和艺术家，但即便如此，也很难做到。目前，NVIDIA 已实施两种基于 AI 的方法来无缝执行此过程：虚拟重建和神经重建。第一种方法复制真实场景，作为完全合成的 3D 场景，第二种方法就是本文介绍的 NRE，使用神经仿真增强真实的传感器数据。
这些新方法由 NVIDIA 在渲染、图形和 AI 方面的专业知识所驱动。
作为一个模块化平台，DRIVE Sim 在确定性仿真的基础上支持这些功能。它提供车辆动态、基于 AI 的交通模型、场景工具和全面的 SDK，以构建所需的任何工具。
借助 NRE，开发人员可以轻松地从现实世界迁移到虚拟世界，从而加快自动驾驶的开发和部署。
