环绕摄像头-雷达融合能够将来自两种传感器类型的感知信号融合，并提供可靠的环绕感知功能。


任务：
360度全方位可靠的环绕感知功能
方法：
环绕摄像头-雷达融合


想让自动驾驶技术不仅限于辅助驾驶，可靠的360度全方位目标感知能力不可或缺。

对车辆周围的目标进行检测并做出相应反应是自动驾驶汽车确保安全舒适驾驶体验的必备能力。通常情况下，在自动驾驶汽车上会配备一系列各种配置的传感器，从而为车辆提供可靠的环绕感知能力。

环绕摄像头和雷达传感器装置是汽车行业主要的环绕感知系统选择之一。由于各种传感器都可以被单独使用，也就导致每种类型的传感器都有其自身的局限性。摄像头可以提供场景语义表现，但是3D信息相对薄弱。而雷达数据虽然能够提供良好的目标距离和速度估计信息，但是缺乏语义表现。

在本期的NVIDIA自动驾驶实验室中，我们将详细介绍为什么传感器融合如此重要。一个传感器融合系统能够将来自两种传感器类型的感知信号融合，并提供可靠的环绕感知功能。

环绕摄像头-雷达融合是基于环绕摄像头和环绕雷达感知系统之上构建的一个传感器融合层。它旨在利用每种传感器类型的互补优势，在提供高质量语义信息的同时也能提供准确的位置、速度和加速估算信息。核心摄像头-雷达融合的功能也能被重新应用于每个摄像头，因此整个系统也具有可扩展性。


图1. 包含4个摄像头和8个雷达传感器配置的环绕摄像头-雷达融合处理流程。

摄像头雷达融合

摄像头-雷达融合模块是环绕摄像头-雷达融合处理流程的主要组成部分（图1）。它将单个摄像头检测到的目标与环绕雷达感知到的目标融合在一起。这背后的核心意义是用一种有效的方法进行跨传感器匹配目标，并以提高相应目标3D信息质量的方式将来自各传感器的信号进行融合。

预处理

预处理对于识别匹配（即融合）过程中正确的摄像头目标和雷达目标来说至关重要。它可以通过一个简单的技术实现，比如可以考虑到落在摄像头和雷达感知视场交叉点中的目标。这一方法在用于过滤掉出现在一般场景中的无关目标上非常有效。

在预处理过程中，我们还会更新目标数据以助力融合过程。在摄像头和雷达感知流程都分别在各自的线程上独立运行的情况下，这一举措尤为重要。此外，与雷达感知相比，摄像头感知通常会以不同的更新频率生成目标测量的结果。事实上，摄像头感知更新频率通常高于雷达感知频率。因此，必须将两个传感器中的目标置于一个共同的更新频率中，以正确融合测量结果。

目标融合

融合过程始于两个传感器之间的目标匹配或关联。从本质上讲，这是一个二分图匹配问题。对于每个摄像头感知到的目标，我们都希望从雷达感知中找到其对应的目标，反之亦然。

对于融合过程中的这一步骤来说，借助启发式或成本度量来决定潜在匹配来说是最重要的。通过分析来自两个传感器的单个感知信号的表现，成本度量是以数据驱动的方式设计的。它会考虑来自不同传感器的信号（例如位置、速度、碰撞时间和物体的方位角）如何相互比较。此外，它还兼顾了目标在其检测历史上在时间上的匹配程度。

成本度量适用于来自两种传感器类型所有的目标对（Object pairs）。符合在所有对中成本最低，并拥有至少一个共同目标等条件的目标对，将会被匹配。一旦目标匹配成功，就可以借助不确定性预估融合感知信号，以生成用于下游规划和控制模块的可靠3D信号。


图2. 4个摄像头和8个雷达感知装置的摄像头雷达融合在每个摄像头中的显示。
在摄像头视图中，摄像头感知目标显示在绿色边界框中，而它们对应的雷达感知目标显示为绿色正方形点。
在3D视图中，摄像头感知目标显示为黄色长方体，而它们对应的雷达感知目标显示为绿色八面体。
紫色轨迹显示了融合目标移动时的运动补偿历史轨迹。

环绕摄像机雷达融合的功能非常灵活，支持多种传感器配置，包括6个摄像头8个雷达的组合；4个摄像头8个雷达的组合；2个摄像头4个雷达的组合；1个摄像头1个雷达的组合。开发者可以通过 NVIDIA DRIVE Software 10.0版本使用这一功能。