预测目标的未来移动轨迹

循环神经网络（RNN）

在行车过程中，驾驶员会遇见其他注意力不集中的驾驶员不合理变道或者行人突然从停放的车辆之间窜出来的情况，驾驶状况可以说是变化无常。这种意外操作的存在意味着驾驶员在行车过程中，需要为未来将出现的各种驾驶情况做好准备。

如果我们能够准确地预测一辆汽车是否会突然绕到我们车辆的前方，或者行人是否会穿过马路，我们就能够为自己的驾驶操作做出最佳的规划决策。

自动驾驶汽车面临着同样的挑战。借助计算方法和传感器数据（比如一系列图像），自动驾驶汽车可以及时判断出物体正在如何移动。通过这类时态信息，它能够准确地预测周围移动目标的未来轨迹，并根据需要调整其行驶路径。

其关键在于分析图像序列中的时态信息，并且即使在拥有不确定性和不可预测性的情况下，也能准确预测目标的未来运动。

为了实现这种预测，NVIDIA使用了深度神经网络家族中的成员之一，我们称之为循环神经网络（RNN）。

典型的卷积神经网络（CNN）处理给定图像帧中的信息，并且独立于它们从之前图像帧中学习到的信息。然而循环神经网络拥有记忆功能，因此它们在计算并预测未来时可以利用过去的学习结果。

可以说，循环神经网络能够利用自然的方式提取一个时间序列的图像（也就是视频），并生成最先进的时间预测结果。

拥有从大量时态数据中学习的能力是循环神经网络的重要优势。由于循环神经网络并不仅仅依赖图像中本地的、帧到帧且基于像素的变化，在对行人及动物等非刚性移动目标的未来运动轨迹进行预测时，该网络拥有更高的可靠性。

循环神经网络在预测移动目标未来轨迹（即移动目标的未来位置和速度）时还可以使用上下文信息，如一个给定目标相对于其静态环境将如何移动。

雷达和激光雷达传感器非常擅长测量移动目标的速度。 因此，NVIDIA使用来自两个传感器的数据来生成地面实况信息去训练循环神经网络以预测目标的速度，而不试图使用从人类标记的摄像头图像中提取此类信息。

白色框代表目标对象当前位置，黄色框代表循环神经网络对这些对象未来移动位置的预测。

具体来说，我们将激光雷达和雷达的信息输入到摄像头域中，并用速度数据标记摄像头图像。这就使我们能够利用跨传感器融合来创建一个自动的数据流程，为循环神经网络的训练生成地面实况信息。

循环神经网络输出包括每个在场景中检测到的动态对象（如车辆和行人）的碰撞时间（TTC）、未来位置以及未来速度预测。这些结果能够为自动驾驶汽车中的纵向控制功能（如自动巡航控制和自动紧急制动）提供必要的输入信息。

借助循环神经网络从过去学习的能力，NVIDIA能够为自动驾驶汽车创造更安全的未来。