NVIDIA DRIVE AV软件借助深度神经网络（DNN）的组合来检测交通标志及信号灯并将其分类。


自动驾驶实验室
这是NVIDIA DRIVE Labs自动驾驶实验室系列视频的第九集，在上一集中我们介绍了NVIDIA如何借助安全力场SFF保护车辆不受碰撞。在自动驾驶实验室系列视频中，我们将以工程技术为重点的视角关注实现自动驾驶汽车的各个挑战以及NVIDIA DRIVE AV软件团队如何应对这些问题。

任务：

精准识别交通标志和信号灯并将其分类

方法：
深度神经网络组合：WaitNet DNN，LightNet DNN和SignNet DNN


每个人在最初学开车的时候都会从最简单的规则开始学起，其中之一就是“红灯停，绿灯行”。自动驾驶汽车也需要学习这一简单规则。此外，它还要学习在各类驾驶环境下精准识别交通标志和信号灯并对其做出正确的反应。

为了实现这一目标，NVIDIA DRIVE AV软件借助深度神经网络（DNN）的组合来检测交通标志及信号灯并将其分类。具体而言，NVIDIA利用WaitNet DNN进行交叉路口、交通信号灯和交通标志的检测。然后，LightNet DNN将根据交通信号灯的形状（例如实心与箭头）和状态（即颜色：红色，黄色，绿色）进行分类；同时，SignNet DNN将会识别交通标志的类型。总的来说，这三种DNN构成了NVIDIA感知等待条件软件的核心，旨在检测自动驾驶汽车需要减速停车等待的交通状况。


<img alt="" data-cke-saved-src=http://nvidia.zhidx.com/uploadfile/2019/0814/20190814052404731.jpg" src=http://nvidia.zhidx.com/uploadfile/2019/0814/20190814052404731.jpg" "="">
图2：当速度限制从80千米/小时降至60千米/小时，SignNet对欧洲限速标志进行识别分类，以通过高速公路最后路段

NVIDIA目前的SignNet DNN模型包含范围扩大至300个美国交通标志类型和200个欧洲交通标志类型。这些标志包括高速公路标志，比如限速标志和高速公路区域分隔标志，以及在半城市乃至城市自动驾驶环境中所会遇见的其他标志（比如转弯，靠右行驶以及环岛标志）。


图三：LightNet实时识别单个及组合的交通信号灯并对其进行分类

为了实现交通信号灯形状和状态的分类，LightNet被设计为一个多级的卷积神经网络。LightNet，SignNet和WaitNet DNN现已通过NVIDIA DRIVE软件对开发人员开放，所有的功能都配有开放的API。NVIDIA计划将更多的交通信号灯和标志类型以及其他区域扩充至未来版本当中。