这是NVIDIA DRIVE Labs自动驾驶实验室系列视频的第二十一集，在上一集中我们讲了AI如何帮助自动驾驶汽车理解交叉口。在自动驾驶实验室系列视频中，我们将以工程技术为重点的视角关注实现自动驾驶汽车的各个挑战以及NVIDIA DRIVE AV软件团队如何应对这些问题。

任务：
预测未来轨迹

方法：
PredictionNet


车辆行驶过程中需要对未来进行预测。每当汽车突然驶入某个车道或多辆汽车在同一十字路口相遇时，为了确保安全，驾驶员必须对其他对象的行为进行预测。

人类驾驶员依靠驾驶过程中的线索以及个人经验对情况进行分析，而自动驾驶汽车可以通过AI预测交通模式，并在复杂的环境中安全行驶。

NVIDIA训练的PredictionNet深度神经网络能让自动驾驶汽车全方位了解周围驾驶环境，并根据实时感知和地图数据预测行人或其他车辆的未来轨迹。

PredictionNet能够通过分析路上所有行人和车辆过往的移动情况预测他们的未来轨迹。通过分析过往移动情况，DNN会得到车辆或行人的过往位置，并且还会获取场景中固定对象和地标的位置，例如地图上的交通信号灯、交通标志和车道线标志。

基于这些栅格化俯视图信息输入，DNN可以预测路上车辆和行人的未来轨迹，如图1所示。

预测未来本身具有不确定性。PredictionNet可以通过提供每个车辆或行人未来轨迹的预测统计信息来解决不确定性问题，如图1所示。

从上到下卷积RNN处理方式

之前，预测自动驾驶汽车交通轨迹的方法包括利用仿真学习模型和生成模型对未来轨迹进行采样，以及使用卷积神经网络和循环神经网络处理感知输入，并预测未来轨迹。

PredictionNet采用了基于RNN的二维卷积架构，对任意车辆或行人以及预测范围数量都具有高度可扩展性。

该方式与其他RNN一样，不同时间步长被依次输入DNN。每个时间步长均由俯视图展示，该俯视图能够显示当时车辆周围的环境，包括通过实时感知到的动态障碍物以及地图上的固定地标。

该俯视图在传输给RNN之前会经过一组2D卷积处理。在当前操作中，PredictionNet能够轻松预测1到5秒的未来轨迹，这取决于场景的复杂性（例如，公路还是城市）。

PredictionNet模型还适用于TensorRT深度学习推理SDK中的高效运行，在NVIDIA TITAN RTX GPU上实现了10毫秒端到端推理。

可扩展结果

到目前为止的结果表明，PredictionNet在几种复杂的交通场景下都具有很高的应用前景。例如，DNN可以预测哪些汽车将直行通过十字路口，哪些将转弯，还能够正确预测汽车汇入高速公路场景中的行为。

我们还观察到PredictionNet能够分析场景中车辆的速度和加速度，这使其能够正确预测快速移动和完全停止的车辆的速度，以及停走交通模式。

为了达到更高的预测精度，我们在高精度的激光雷达数据上对PredictionNet进行训练。然而，输入DNN的推理时间感知可以基于任何传感器输入组合（即摄像头、雷达或激光雷达数据），且无需重新训练。这意味着DNN的预测功能可用于各种传感器配置和自动驾驶级别，从L2+级系统一直到L4或L5级。

PredictionNet实时预测行为的能力还能用于创建交互式训练环境，以加强基于学习的规划和控制策略，实现自动巡航控制、车道变更或交叉路口处理等功能。

借助PredictionNet对其他道路使用者基于真实世界经验对自动驾驶汽车做出的反应进行仿真，我们能够训练出一个更安全、可靠且彬彬有礼的“AI驾驶员”。