全球居家办公进行时 NVIDIA自动驾驶车队行驶于数据中心之中
2020-05-29 19:58
全球工作人员逐渐开始居家办公,NVIDIA自动驾驶测试车队也在云中“昼夜不停地行驶”。
在GTC 2020主题演讲中,NVIDIA首席执行官兼创始人黄仁勋展示了NVIDIA DRIVE技术如何在仿真中进行开发和测试。尽管现实世界的测试被暂时中止,但基于云的NVIDIA DRIVE Constellation平台可实现在虚拟环境中调度虚拟车辆,助力自动驾驶技术持续取得进步。
在视频演示中,一辆虚拟的NVIDIA BB8测试车在硅谷NVIDIA总部附近行驶,穿越高速公路和城市街道,而这一切都是在仿真中进行的。17英里长的环路行驶显示,NVIDIA DRIVE AV软件能够在高度精确的复制环境中,识别行人和交通状况并进行导航。
数据中心试验场
NVIDIA DRIVE Constellation是一个基于云的仿真平台,致力于自动驾驶汽车的开发和验证。该基于数据中心的平台由两台配对放置的服务器组成。
第一台服务器采用NVIDIA GPU运行DRIVE Sim软件,用以生成虚拟行驶车辆及产生传感器信号。第二台服务器包含实际的车辆计算机,并使用与真实汽车中部署完全相同的DRIVE AV和DRIVE IX软件,处理仿真所得的传感器数据。
来自第二台服务器的驾驶决策将反馈至第一台服务器中,从而实现实时、位精确的硬件在环开发和测试。
DRIVE Constellation由两台配对放置的服务器组成,可进行精准的硬件在环测试。
该系统被打造成可部署在数据中心的可扩展虚拟车队。这为开发工程师提供了随需应变的车辆,并让他们能够进行大规模测试。同时也实现了持续测试在现实世界中很难或不可能遇到的罕见和危险场景。
端到端的开发和测试
打造一辆自动驾驶汽车需要在各个级别对其进行测试,从子系统一直到整车集成测试。DRIVE Constellation可以在仿真中对自动驾驶汽车进行端到端的开发和测试,就如同实体汽车的开发。
端到端的测试可确保时序和性能的准确,以及对自动驾驶汽车软件中不同系统之间复杂且具有相互依赖性的准确建模。
DRIVE Sim创建了现实世界中的数字孪生,提供逼真的驾驶环境。
在大规模范围内确保高仿真度是一个重大挑战。环境、交通状况、传感器输入和车辆动力学必须像在现实世界中一样出现、作用并反馈回汽车计算机。
这需要多个GPU以精确的时序同步生成合成数据。车辆的软件和硬件信号及接口必须在仿真中进行复制,一切都必须实时运行。
硅谷仿真
全面的仿真从环境开始。为了准确地重现硅谷驾驶线路,NVIDIA DRIVE生态系统的成员3D Mapping对道路进行了精确度在5厘米以内的扫描。然后将原始扫描数据处理为OpenDRIVE数据集格式。
NVIDIA基于此构建了一个内容创建管线,借助NVIDIA Omniverse协作平台生成高精度的3D环境。该环境包括准确的道路网络和路标。还应用了材料属性以确保其与光线、无线电波和激光雷达射线相互作用,就像真实的传感器与物理世界相互作用一样。
DRIVE Sim允许进行端到端测试,包括车载可视化。
DRIVE Sim为测试AV软件提供了广泛的光照和天气条件
重建传感器数据
有了准确的仿真环境,接下来的高仿真度开发和测试中需要准确生成的传感器数据。传感器模型包括在自动驾驶测试车辆上常见的模型,例如摄像头、激光雷达、雷达和惯性测量单元。DRIVE Sim提供了灵活的传感器管线和API,可用于配置传感器以匹配实际的车辆架构。
对于摄像头数据,图像管线首先根据车上摄像头的镜片属性而扭曲的HDR图像进行渲染。曝光控制、黑白平衡和颜色分级适用于图像,以匹配传感器配置文件。最后,使用传感器特定的编码器将像素数据转换为其原始输出格式。
除摄像头模型外,DRIVE Sim还借助光线追踪功能提供基于物理的激光雷达和雷达传感器模型。NVIDIA RTX GPU让DRIVE Sim能够实时运行计算密集型的雷达和激光雷达模型。
车辆行为建模
最后,车辆(动力学)模型对于精确仿真来说至关重要。当控制信号(转向、加速和制动)被发送到车载计算机时,汽车必须像在现实世界中那样做出响应。
为此,仿真平台必须正确地重新创建运动,包括与路面交互之类的细节。DRIVE Sim中的车辆模型使用包含PhysX模型或来自NVIDIA DRIVE生态系统合作伙伴(例如Mechanical Simulation或IPG)的第三方车辆动力学模型的插件系统进行处理。
车辆动力学在准确的传感器数据生成中也起着关键作用。随着车辆的行驶,车辆的位置和状态会发生很大变化,从而影响传感器的视角。例如,当汽车制动时,前置摄像头将向下倾斜。正确建立车辆动力学模型,是准确生成传感器数据的重要环节。
通过在单个端到端平台上准确仿真这些模型(环境、传感器、车辆动力学)中的每个组件,NVIDIA DRIVE Constellation和DRIVE Sim成为全面开发和测试流程的关键部分。当实体测试车队停在车库里时,仿真让NVIDIA及其合作伙伴能够开发更安全、更高效的自动驾驶汽车。
在GTC 2020主题演讲中,NVIDIA首席执行官兼创始人黄仁勋展示了NVIDIA DRIVE技术如何在仿真中进行开发和测试。尽管现实世界的测试被暂时中止,但基于云的NVIDIA DRIVE Constellation平台可实现在虚拟环境中调度虚拟车辆,助力自动驾驶技术持续取得进步。
在视频演示中,一辆虚拟的NVIDIA BB8测试车在硅谷NVIDIA总部附近行驶,穿越高速公路和城市街道,而这一切都是在仿真中进行的。17英里长的环路行驶显示,NVIDIA DRIVE AV软件能够在高度精确的复制环境中,识别行人和交通状况并进行导航。
数据中心试验场
NVIDIA DRIVE Constellation是一个基于云的仿真平台,致力于自动驾驶汽车的开发和验证。该基于数据中心的平台由两台配对放置的服务器组成。
第一台服务器采用NVIDIA GPU运行DRIVE Sim软件,用以生成虚拟行驶车辆及产生传感器信号。第二台服务器包含实际的车辆计算机,并使用与真实汽车中部署完全相同的DRIVE AV和DRIVE IX软件,处理仿真所得的传感器数据。
来自第二台服务器的驾驶决策将反馈至第一台服务器中,从而实现实时、位精确的硬件在环开发和测试。
DRIVE Constellation由两台配对放置的服务器组成,可进行精准的硬件在环测试。
该系统被打造成可部署在数据中心的可扩展虚拟车队。这为开发工程师提供了随需应变的车辆,并让他们能够进行大规模测试。同时也实现了持续测试在现实世界中很难或不可能遇到的罕见和危险场景。
端到端的开发和测试
打造一辆自动驾驶汽车需要在各个级别对其进行测试,从子系统一直到整车集成测试。DRIVE Constellation可以在仿真中对自动驾驶汽车进行端到端的开发和测试,就如同实体汽车的开发。
端到端的测试可确保时序和性能的准确,以及对自动驾驶汽车软件中不同系统之间复杂且具有相互依赖性的准确建模。
DRIVE Sim创建了现实世界中的数字孪生,提供逼真的驾驶环境。
在大规模范围内确保高仿真度是一个重大挑战。环境、交通状况、传感器输入和车辆动力学必须像在现实世界中一样出现、作用并反馈回汽车计算机。
这需要多个GPU以精确的时序同步生成合成数据。车辆的软件和硬件信号及接口必须在仿真中进行复制,一切都必须实时运行。
硅谷仿真
全面的仿真从环境开始。为了准确地重现硅谷驾驶线路,NVIDIA DRIVE生态系统的成员3D Mapping对道路进行了精确度在5厘米以内的扫描。然后将原始扫描数据处理为OpenDRIVE数据集格式。
NVIDIA基于此构建了一个内容创建管线,借助NVIDIA Omniverse协作平台生成高精度的3D环境。该环境包括准确的道路网络和路标。还应用了材料属性以确保其与光线、无线电波和激光雷达射线相互作用,就像真实的传感器与物理世界相互作用一样。
DRIVE Sim允许进行端到端测试,包括车载可视化。
DRIVE Sim为测试AV软件提供了广泛的光照和天气条件
重建传感器数据
有了准确的仿真环境,接下来的高仿真度开发和测试中需要准确生成的传感器数据。传感器模型包括在自动驾驶测试车辆上常见的模型,例如摄像头、激光雷达、雷达和惯性测量单元。DRIVE Sim提供了灵活的传感器管线和API,可用于配置传感器以匹配实际的车辆架构。
对于摄像头数据,图像管线首先根据车上摄像头的镜片属性而扭曲的HDR图像进行渲染。曝光控制、黑白平衡和颜色分级适用于图像,以匹配传感器配置文件。最后,使用传感器特定的编码器将像素数据转换为其原始输出格式。
除摄像头模型外,DRIVE Sim还借助光线追踪功能提供基于物理的激光雷达和雷达传感器模型。NVIDIA RTX GPU让DRIVE Sim能够实时运行计算密集型的雷达和激光雷达模型。
车辆行为建模
最后,车辆(动力学)模型对于精确仿真来说至关重要。当控制信号(转向、加速和制动)被发送到车载计算机时,汽车必须像在现实世界中那样做出响应。
为此,仿真平台必须正确地重新创建运动,包括与路面交互之类的细节。DRIVE Sim中的车辆模型使用包含PhysX模型或来自NVIDIA DRIVE生态系统合作伙伴(例如Mechanical Simulation或IPG)的第三方车辆动力学模型的插件系统进行处理。
车辆动力学在准确的传感器数据生成中也起着关键作用。随着车辆的行驶,车辆的位置和状态会发生很大变化,从而影响传感器的视角。例如,当汽车制动时,前置摄像头将向下倾斜。正确建立车辆动力学模型,是准确生成传感器数据的重要环节。
通过在单个端到端平台上准确仿真这些模型(环境、传感器、车辆动力学)中的每个组件,NVIDIA DRIVE Constellation和DRIVE Sim成为全面开发和测试流程的关键部分。当实体测试车队停在车库里时,仿真让NVIDIA及其合作伙伴能够开发更安全、更高效的自动驾驶汽车。