NVIDIA DRIVE软件通过特征追踪为自动驾驶保驾护航。

自动驾驶实验室
这是NVIDIA DRIVE Labs自动驾驶实验室系列视频的第十二集，在上一集中我们讲了ParkNet深度神经网络如何利用摄像头图像数据识别开放的停车位。在自动驾驶实验室系列视频中，我们将以工程技术为重点的视角关注实现自动驾驶汽车的各个挑战以及NVIDIA DRIVE AV软件团队如何应对这些问题。

任务：
确保安全的自动驾驶
方法：
特征追踪


特征追踪可以对视频相邻帧之间的像素级对应关系和像素级变化进行估计，对于估计障碍物运动/速度、相机自校准和视觉测距提供关键时间和地理信息来说至关重要。

准确且稳定的特征追踪结果可转换为障碍物感知中对碰撞时间的准确估计，对摄像头传感器外部校准（俯仰/偏航/侧倾）值的可靠计算以及用在视觉里程计中生成三维图像的关键视觉输入。由于特征追踪基于像素级计算，高性能计算平台成为了不可或缺的基础。

在本期自动驾驶实验室视频当中，我们将介绍NVIDIA DRIVE软件如何通过特征追踪为自动驾驶保驾护航。

在车辆的行驶过程中，像素级信息可能会由于光照变化、视点变化以及与场景中非刚性物体运动相关的复杂性而失真。

在计算机视觉中，存在几种常见的算法：
1）基于密集光流的特征追踪
2）基于稀疏光流的特征追踪
3）基于深度学习的方法

为基于深度学习的光流计算获得准确且足够多样化的像素级对应训练数据并非易事。正因如此，传统的计算机视觉方法显现出了其重要优势。为了在自动驾驶的准确性、可靠性和运行效率之间进行权衡，我们选择基于稀疏光流的特征追踪方法。具体而言，我们没有将重点放在计算图像中每个像素的光流（密集光流），而是利用稀疏性的计算优势，仅计算重要特征点的光流。

该方法包括三个主要步骤：
1）图像预处理
2）特征检测
3）跨帧追踪功能

在图像预处理时候，我们从图像中提取梯度信息。然后，在特征检测步骤使用此信息来识别图像中的显着特征点，以实现在整个帧中对其进行稳定追踪。最后，在基于光流的特征追踪中追踪检测到的特征，并估计它们在视频图像序列中跨相邻两帧的运动。

为了保证基于嵌入式计算平台自动驾驶的安全性，在实时特征追踪中平衡准确性和性能至关重要。考虑到这种平衡，我们设计了一种复杂的特征密度控制算法，以确保检测到的稀疏特征覆盖对自动驾驶来说最重要的图像区域。此外，我们利用由粗到精的特征追踪策略来提高计算速度和可靠性。

我们已经启用了稀疏特征追踪方法，以同时在多台摄像头上运行。从NVIDIA DRIVE Software 9.0版本开始，开发人员可以借助前置和环绕摄像头感知装置实现特征追踪功能。