NVIDIA Jetson 月度项目:一款 AI 驱动的自动微型赛车进入正轨
2023-02-28 11:04
第 65 届年度 Daytona 500 将于 2023 年 2 月 19 日举行,对许多人来说,这场精英 NASCAR 赛事是赛车界的巅峰。虽然目前还没看到自动驾驶汽车与人工驾驶汽车的比赛,但不难想象我们能在未来的比赛中见到这种情况。在 1 月初的 CES 大会上,就有一场测试最佳自动驾驶赛车的比赛。
为了实现这样的愿景,人们需要在引擎方面使用一些重要技术,来为车辆提供动力并确保正确的导航路线。
因此,我们不难看出 3D 激光雷达是用于自动测绘和导航的主要工具之一。3D 激光雷达对光线条件不敏感,可以通过反射通道检测颜色,提供完整的 360 度环境视图,并且不需要任何“学习”来检测障碍物。
来自激光雷达的点云信息也可以方便地实现地图绘制和定位,因为车辆知道它在所有点上的位置。但激光雷达价格昂贵且体积庞大,限制了许多开发者的使用,特别是应用在比普通赛车更小的车辆上。
那么,是否有一种能够替代激光雷达的方法,可以在自动驾驶赛车中实现类似的功能呢?
Triton 加州大学圣地亚哥分校 AI 数据科学项目
作为圣地亚哥大学 2021 Triton AI Data Science capstone 项目的一部分,三名学生开始建造由 AI 驱动的小型自动驾驶赛车。在探索中,他们遇到了确保有效的自主导航和同步定位与测绘( SLAM )的困难,他们选择了尺寸适合的赛车搭配较便宜的相机,而不是使用昂贵的激光雷达传感器。
用相机代替激光雷达确实有一些缺点,包括需要特殊编程来处理各种光线条件。它需要多个摄像头来创造 360 度视野。
他们的项目探索了使用 ROS、Detectron2 的物体检测和图像分割功能进行定位、对象检测和规避物检测,并使用RTAB Map (基于实时外观的映射)进行自动驾驶赛车导航。
学生 Youngseo Do 、 Jay Chong 和 Siddharth Saha 在研究中有三个主要目标:
使用 RTAB-Map SLAM 算法获得单个摄像机和其他感官信息进行测绘和定位
使用 Facebook AI Detector2 深度学习和 ROS,用单个摄像头进行避障和车道跟踪
使用 ROS rqt_reconfigure 对摄像头进行微调,使其对变化的光线条件不那么敏感
有关他们项目的详细信息,请参见以下视频:
视频 1. DSC 180B 自动驾驶汽车团队 1:使用 CV 进行自动测绘、定位和导航
下面是一个汽车的快速演示:
视频 2. Jetson 基于 DNN 的自动驾驶赛车
团队是如何实现目标的?
鉴于项目的复杂性,学生选择将项目分为三个不同的部分:
通过 RTAB Map SLAM 进行测绘和定位
使用 Detector2 避免物体
调整相机的感光度
通过 RTAB Map SLAM 进行测绘和定位
该团队考虑了包括 GPS 在内的多个导航选项,但他们在演讲中指出,GPS 对于快速移动和精确读数可能不可靠。他们最终选择使用与传感器兼容的 RTAB 地图,并且他们能够使用在线模拟器进行测试,帮助他们熟悉工作原理。
使用 Detector2 避免物体
其目的是使用图像输入从这些图像中提取障碍物和边界信息,以便赛车在驾驶时知道最佳的下一步是什么。
调整相机的感光度
正如学生们在演讲中指出的那样 ,摄像机必须“尽可能对光线不敏感”,因为光线条件的变化会影响赛车的视觉效果,尤其是赛道中央的黄线。
项目硬件
为了使这个项目成为现实,学生们使用了以下硬件:
内有 Jetson Xavier NX 开发套件的 JetRacer。
Intel Realsense D455:一款深度感应相机,设计用于避免碰撞、 3D 扫描、数字标牌和体积测量。
一个 Flipsky VESC speed controller 向 JetRacer 发送移动命令。
赛车在一个包含了多个交通锥的室内赛道上进行了测试。这些交通锥是为了让赛车躲避并同时让它始终保持在赛道内。
未来的改进
在项目实施时,学生们希望从手动编码的驾驶规则改为强化学习技术,以增加行为的灵活性。如果他们需要更多的传感器和规则,这将派上用场。他们还想训练该模型来检测其他汽车,以便在头对头比赛中使用,但当时受到了疫情的干扰。
NASCAR 在他们的未来吗?可能是的。参与该项目的学生之一 Siddharth Saha 和加州大学圣地亚哥分校的学生 Haoru Xue 是两项自动驾驶汽车比赛挑战的技术负责人:
11 月,他们的车队在德克萨斯州赛车场举行的 Indy Autonomous Challenge 比赛中获得第二名。
1 月初,他们的车队在拉斯维加斯赛车场的 Autonomous Challenge at CES 比赛中获得第三名。
这两名学生在加州大学圣地亚哥分校的 NVIDIA Jetson 工作期间开始学习自动驾驶汽车。
加州大学圣地亚哥分校团队成员(从左至右):西德哈特·萨哈、弗兰克·加西亚、薛浩如和何塞·希门内斯·奥利瓦斯,于 2022 年 11 月在德克萨斯州赛车场参加印第自治挑战赛