NVIDIA 以自动驾驶开发大赛 3D Occupancy 预测挑战赛冠军的身份亮相 CVPR 2023。

此次角逐冠军的 400 多份参赛作品共来自 10 个地区近 150 个团队。

3D Occupancy 预测是指预测场景中每个体素（即 3D 鸟瞰网格上的各个数据点）的状态的过程，体素可以被识别为自由、占用或未知三种状态。

3D Occupancy 网格预测对开发安全、鲁棒的自动驾驶系统至关重要。该功能利用 NVIDIA DRIVE 平台提供支持的先进卷积神经网络（CNN）和 Transformer 模型为自动驾驶汽车（AV）规划和控制堆栈提供信息。

NVIDIA 学习和感知高级研究科学家 Zhiding Yu 表示：“NVIDIA 的获奖方案包含两项重要的先进自动驾驶（AV）技术。该方案展示了具有出色鸟瞰感知能力的先进模型设计，以及具有多达 10 亿个参数的视觉基础模型和大规模预训练在 3D Occupancy 预测方面的有效性。”

在过去几年中，自动驾驶感知已从处理 2D 任务，比如检测图像中的物体或自由空间等，发展到根据多个输入图像对 3D 世界进行推理。

NVIDIA 自动驾驶汽车应用研究总监兼杰出科学家 Jose Alvarez 表示，“这项技术能够灵活、精确而细致地呈现复杂交通场景中的物体，对于达到自动驾驶的安全感知要求至关重要。”

CVPR 研讨会委员会表示，除了赢得该挑战赛的第一名之外，NVIDIA 还荣获本次活动的创新奖，以表彰其“在开发视角转换模块方面的新洞察”。与之前的方法相比，其“性能大幅提升”。

阅读 NVIDIA 关于参赛作品的技术报告：

https://opendrivelab.com/e2ead/AD23Challenge/Track_3_NVOCC.pdf?=&linkId=100000205404832

虽然传统 3D 目标检测（通常使用 3D 边界框来检测和呈现场景中的物体）是自动驾驶汽车感知领域的一项核心任务，但它具有局限性。例如缺乏表现力，边界框可能无法呈现足够的真实世界信息。它还需要为所有可能的物体进行分类标准和 ground truth 的定义，甚至包括在现实世界中很少见的物体，比如可能从卡车上掉落的道路危险物。

相比之下，3D Occupancy 预测能够为自动驾驶汽车的规划堆栈提供丰富信息，这对于端到端自动驾驶是必不可少的。

软件定义汽车可以不断通过升级，以添加经过证明和验证的新研发成果。研究成果（例如在 CVPR 上得到认可的研究）所带来的先进软件更新，正在推动实现新功能和更安全的驾驶能力。

NVIDIA DRIVE 平台可为汽车制造商带来加速车辆生产的解决方案，为确保安全可靠的自动驾驶汽车开发提供了从汽车到数据中心的全栈式硬件和软件。

CVPR 的 3D Occupancy 预测挑战赛要求参赛者开发在推理过程中只使用摄像头输入数据的算法。参赛者可以使用开源数据集和模型，从而推动对数据驱动算法和大型模型的探索。主办方提供了一个基准沙盒，以便参赛者将最新的先进 3D Occupancy 预测算法应用于真实世界场景。

NVIDIA 在 CVPR 上发表了近 30 篇论文和演讲。在会上讨论自动驾驶的专家包括：

Jose Alvarez 在端到端自动驾驶研讨会：新兴任务和挑战研讨会上讨论自动驾驶汽车中的新 3D 感知挑战；并在嵌入式视觉研讨会上讨论优化用于实时推理的大型深度模型。

NVIDIA 深度学习总监 Nikolai Smolyanskiy 在端到端自动驾驶研讨会：感知、预测、规划和模拟上讨论自动驾驶汽车的实时交通预测。

NVIDIA 杰出工程师 Robin Jenkin 在与 CVPR 同时举行的 OmniCV 研讨会上讨论鱼眼相机的图像质量。

NVIDIA 自动驾驶汽车研究部门的研究科学家 Xinshuo Weng 在自动驾驶视觉主题研讨会上讨论用于自动驾驶的视觉解决方案。

CVPR 于 6 月 18 日至 22 日举行。查看议程上的其他讲座并进一步了解 NVIDIA 在 CVPR 上的情况：https://www.nvidia.com/en-us/events/cvpr/

专题图片由 OccNet 和 Occ3D 提供。