基于 NVIDIA Jetson Xavier 的无人车 Sensor Box
2020-08-19 11:25
分享到微信
分享到微博
人工智能已经成为新一轮产业变革的核心驱动力，正在对世界经济、社会进步和人类生活产生极其深刻的影响。作为人工智能范畴最重要的前沿分支之一，机器视觉已服务工业 30 年，相当于现代工业生产和智能制造的“机器眼睛”。苏州天准科技股份有限公司致力于以领先的人工智能技术推动工业转型升级，通过持续高强度创新，不断突破行业极限。
在精密测量领域，由天准牵头的“复合式高精度坐标测量仪器开发和应用”项目入选“国家重大科学仪器设备开发专项”，设备精度高达 0.3 微米，使中国成为继德国、日本之后，掌握同等测量技术的全球第三个国家。
天准的智能检测装备将机器视觉技术应用于工业流水线上的在线检测场景，实现对工业零部件和产品的实时在线尺寸与缺陷检测。以光伏领域为例，天准不断打破业界极限，将硅片分选检测设备产能成功提升到业界 1.5 倍以上，成本降低 50% 以上。
天准的智能制造系统不仅可消除生产检测中人的不稳定因素、提升生产效率、降低生产成本，而且可帮助改善产品品质，已广泛应用于 3C 电子、汽车制造等智能化生产程度较高的行业，推进工厂无人化和智能化进程。
无人物流车是机器视觉技术在物流领域的落地场景。天准作为 NVIDIA Jetson Preferred Partner，将基于 NVIDIAJetson 处理器的 AI 边缘计算技术与无人车相结合，打造无人移动平台加 AI 边缘计算整体解决方案，使机器视觉技术赋能更多的行业和场景。
NVIDIA 产品或平台、工具介绍
NVIDIA® Jetson AGX Xavier™ 为边缘设备的计算密度、能效和 AI 推理功能设定了新标杆。作为首款专为自主机器设计的计算机，Jetson AGX Xavier 的性能足以完成如下任务：视觉测距、传感器融合、定位与地图绘制、障碍物检测以及对新一代机器人至关重要的路线规划算法。在紧凑的外形下，用户可以获得 GPU 工作站级别的性能—— 32 万亿次运算/秒 (TOPS) 的峰值计算能力和 750 Gbps 的高速 I/O 性能；得益于 NVIDIA 整套丰富的 AI 工具和工作流程，可帮助开发者快速训练和部署神经网络。
该平台支持 NVIDIA JetPack 和DeepStreamSDK，以及 CUDA®、cuDNN 和 TensorRT 软件库，使得在云端训练的深度学习算法模型可以无缝的迁移到边缘端，大大加速产品的原型验证和批量部署过程。
方案与开发技术分享
随着 AI 算法的飞速发展和计算平台算力的不断提升，AI 技术充分赋能自动驾驶、智慧公路、轨道交通等诸多领域，应用于无人驾驶、车路协同、轨交列车安全监控等各种智慧交通场景。在这些场景中，往往需要借助于多种不同的传感器，利用各种传感器的不同特性，从不同维度充分获取周围环境信息。常用的传感器有相机、激光雷达、IMU、毫米波雷达等。
各种传感器数据产生于不同的时刻、且均在各自的坐标系中进行表达，为了从各个不同的传感器中得到统一的目标信息，需要对其进行时空融合，即时间同步和空间对齐。下图是只进行空间融合、未做时间对齐的激光雷达和图像数据融合的结果：对于静止目标，两种数据可以很好地匹配到一起；对于运动目标，则会产生明显的数据不匹配情况，根本原因就在于两种传感器数据产生的时刻不同。因此，在有移动目标的应用场景中，时间同步和空间对齐缺一不可。
在传统的智慧交通应用中，各种传感器数据往往通过 USB 接口或网口接入到工控机或服务器中进行算法处理，以满足 AI 推理算法处理海量数据的大算力需求。这种方式往往容易带来以下问题：
❶ 工控机网口和USB接口一般非防松设计，多种传感器接入后，在无人车或列车行进过程中，很容易出现松动问题；
❷ 工控机只能通过网口进行IEEE 1588协议或NTP协议进行授时，前者需要专业的授时设备，后者授时精度不高；
❸ 在工控机中进行多传感器数据融合，由于需要进行大量的矩阵运算，会占用工控机宝贵的算力资源。
为解决上述问题，本项目基于NVIDIA Jetson Xavier，设计了用于智慧交通场景的Sensor Box，主要解决以下三个问题：
❶ 各种传感器的可靠接入；
❷ 各传感器高精度的授时；
❸ 时空融合计算。
Sensor Box 如下图所示，该设备支持常用的 GMSL2 相机接口、千兆网口、万兆光口、USB3.0 网口、CAN 总线接口等接口形式，各种接口均具有防松设计；内置纳秒级精度的同步触发和授时电路，并具有 GPS 失锁守时功能；可以耐受 XYZ 三轴 3Grms0~1000Hz 的随机振动，整机可以达到 IP65 防护等级。各传感器数据接入 Sensor Box 之后进行时空融合后，或者在 Sensor Box 内直接进行推理运算，或者通过万兆光口传给工控机进行更复杂的算法处理。
一个 1080P 相机的像素数约为 200 万个，一个 32 线激光雷达一帧数据约有 12 万个点，按每秒 10 帧的帧率计算，产生的像素点是千万级，点云点数则为百万级。在自动驾驶场景，存在多个相机和多个激光雷达的情况下，每秒钟 sensor box 将要处理以亿计的像素和点云数量。对于点云到图像的融合计算来说，每个点需要进行 9 次乘法和 12 次加法运算，如果全部放到 CPU 中处理，难以满足海量数据处理实时性的要求。
1个激光雷达和1个相机进行时空同步后的融合效果。基于Xavier 的 Sensor Box 解决方案已经在国内很多自动驾驶场景中路测使用。
通过 NVIDIA Jetson 提供的 CUDA 工具，将空间融合的乘加运算迁移到 GPU 的 CUDA 核中进行并行处理，大大提升了处理速度，提高了计算性能。以典型的传感器数量偏多的自动驾驶卡车为例，基于 Xavier 的 Sensor Box 可支持多达10路 1080P 相机和 6 路激光雷达接入，为其提供同步触发和授时功能，在其内部完成所有传感器的时空同步计算后，通过万兆光口传到工控机。将传感器采集、时空同步等比较消耗算力的过程前置到 Sensor Box 中，使工控机内可以执行更复杂更智能的 L4 级自动驾驶算法。
在精密测量领域，由天准牵头的“复合式高精度坐标测量仪器开发和应用”项目入选“国家重大科学仪器设备开发专项”，设备精度高达 0.3 微米，使中国成为继德国、日本之后，掌握同等测量技术的全球第三个国家。
天准的智能检测装备将机器视觉技术应用于工业流水线上的在线检测场景，实现对工业零部件和产品的实时在线尺寸与缺陷检测。以光伏领域为例，天准不断打破业界极限，将硅片分选检测设备产能成功提升到业界 1.5 倍以上，成本降低 50% 以上。
天准的智能制造系统不仅可消除生产检测中人的不稳定因素、提升生产效率、降低生产成本，而且可帮助改善产品品质，已广泛应用于 3C 电子、汽车制造等智能化生产程度较高的行业，推进工厂无人化和智能化进程。
无人物流车是机器视觉技术在物流领域的落地场景。天准作为 NVIDIA Jetson Preferred Partner，将基于 NVIDIAJetson 处理器的 AI 边缘计算技术与无人车相结合，打造无人移动平台加 AI 边缘计算整体解决方案，使机器视觉技术赋能更多的行业和场景。
NVIDIA 产品或平台、工具介绍
NVIDIA® Jetson AGX Xavier™ 为边缘设备的计算密度、能效和 AI 推理功能设定了新标杆。作为首款专为自主机器设计的计算机，Jetson AGX Xavier 的性能足以完成如下任务：视觉测距、传感器融合、定位与地图绘制、障碍物检测以及对新一代机器人至关重要的路线规划算法。在紧凑的外形下，用户可以获得 GPU 工作站级别的性能—— 32 万亿次运算/秒 (TOPS) 的峰值计算能力和 750 Gbps 的高速 I/O 性能；得益于 NVIDIA 整套丰富的 AI 工具和工作流程，可帮助开发者快速训练和部署神经网络。
该平台支持 NVIDIA JetPack 和DeepStreamSDK，以及 CUDA®、cuDNN 和 TensorRT 软件库，使得在云端训练的深度学习算法模型可以无缝的迁移到边缘端，大大加速产品的原型验证和批量部署过程。
方案与开发技术分享
随着 AI 算法的飞速发展和计算平台算力的不断提升，AI 技术充分赋能自动驾驶、智慧公路、轨道交通等诸多领域，应用于无人驾驶、车路协同、轨交列车安全监控等各种智慧交通场景。在这些场景中，往往需要借助于多种不同的传感器，利用各种传感器的不同特性，从不同维度充分获取周围环境信息。常用的传感器有相机、激光雷达、IMU、毫米波雷达等。
各种传感器数据产生于不同的时刻、且均在各自的坐标系中进行表达，为了从各个不同的传感器中得到统一的目标信息，需要对其进行时空融合，即时间同步和空间对齐。下图是只进行空间融合、未做时间对齐的激光雷达和图像数据融合的结果：对于静止目标，两种数据可以很好地匹配到一起；对于运动目标，则会产生明显的数据不匹配情况，根本原因就在于两种传感器数据产生的时刻不同。因此，在有移动目标的应用场景中，时间同步和空间对齐缺一不可。
在传统的智慧交通应用中，各种传感器数据往往通过 USB 接口或网口接入到工控机或服务器中进行算法处理，以满足 AI 推理算法处理海量数据的大算力需求。这种方式往往容易带来以下问题：
❶ 工控机网口和USB接口一般非防松设计，多种传感器接入后，在无人车或列车行进过程中，很容易出现松动问题；
❷ 工控机只能通过网口进行IEEE 1588协议或NTP协议进行授时，前者需要专业的授时设备，后者授时精度不高；
❸ 在工控机中进行多传感器数据融合，由于需要进行大量的矩阵运算，会占用工控机宝贵的算力资源。
为解决上述问题，本项目基于NVIDIA Jetson Xavier，设计了用于智慧交通场景的Sensor Box，主要解决以下三个问题：
❶ 各种传感器的可靠接入；
❷ 各传感器高精度的授时；
❸ 时空融合计算。
Sensor Box 如下图所示，该设备支持常用的 GMSL2 相机接口、千兆网口、万兆光口、USB3.0 网口、CAN 总线接口等接口形式，各种接口均具有防松设计；内置纳秒级精度的同步触发和授时电路，并具有 GPS 失锁守时功能；可以耐受 XYZ 三轴 3Grms0~1000Hz 的随机振动，整机可以达到 IP65 防护等级。各传感器数据接入 Sensor Box 之后进行时空融合后，或者在 Sensor Box 内直接进行推理运算，或者通过万兆光口传给工控机进行更复杂的算法处理。
一个 1080P 相机的像素数约为 200 万个，一个 32 线激光雷达一帧数据约有 12 万个点，按每秒 10 帧的帧率计算，产生的像素点是千万级，点云点数则为百万级。在自动驾驶场景，存在多个相机和多个激光雷达的情况下，每秒钟 sensor box 将要处理以亿计的像素和点云数量。对于点云到图像的融合计算来说，每个点需要进行 9 次乘法和 12 次加法运算，如果全部放到 CPU 中处理，难以满足海量数据处理实时性的要求。
1个激光雷达和1个相机进行时空同步后的融合效果。基于Xavier 的 Sensor Box 解决方案已经在国内很多自动驾驶场景中路测使用。
通过 NVIDIA Jetson 提供的 CUDA 工具，将空间融合的乘加运算迁移到 GPU 的 CUDA 核中进行并行处理，大大提升了处理速度，提高了计算性能。以典型的传感器数量偏多的自动驾驶卡车为例，基于 Xavier 的 Sensor Box 可支持多达10路 1080P 相机和 6 路激光雷达接入，为其提供同步触发和授时功能，在其内部完成所有传感器的时空同步计算后，通过万兆光口传到工控机。将传感器采集、时空同步等比较消耗算力的过程前置到 Sensor Box 中，使工控机内可以执行更复杂更智能的 L4 级自动驾驶算法。
