DevZone | NVIDIA JetPack SDK
2022-10-19 17:51
NVIDIA JetPack SDK 是构建 AI 应用的全面解决方案,支持所有 Jetson 模块和开发者套件。
NVIDIA JetPack SDK 包含适用于 Linux 操作系统的最新 Linux 驱动包(L4T)以及用于深度学习、计算机视觉、加速计算和多媒体的 CUDA-X 加速库与 API。它还包含用于主机和开发者套件的示例、文档和开发者工具,并支持更高级别的 SDK,例如用于直播视频分析的 DeepStream 以及用于机器人的 Isaac。
JetPack 中的主要功能
操作系统
NVIDIA L4T 提供引导加载程序、Linux 内核、必要固件、NVIDIA 驱动、示例文件系统等内容。
TensorRT 是用于图像分类、分割和物体检测神经网络的高性能深度学习推理运行时。TensorRT 依托于 CUDA 而构建,是 NVIDIA 的并行编程模型,支持优化各种深度学习框架的推理过程。它包含深度学习推理优化器和运行环境,可让深度学习推理应用实现低延迟和高吞吐量。
cuDNN
CUDA 深度神经网络库为深度学习框架提供了高性能基元。它可大幅优化标准例程(例如用于前向传播和反向传播的卷积层、池化层、归一化层和激活层)的实施。
CUDA
CUDA 工具包为 C 和 C++ 开发人员构建 GPU 加速应用提供了全面的开发环境。该工具包中包括一个针对 NVIDIA GPU 的编译器、多个数学库,以及多款用于调试和优化应用性能的工具。
多媒体 API
Jetson 多媒体 API 包提供了低层级的 API,有助于实现灵活的应用开发。
摄像头应用 API:Libargus 为摄像头应用提供了低层级的帧同步 API,同时还提供了逐帧摄像头参数控制、多个(包含已同步的摄像头)摄像头支持以及 EGL 流输出。需要 ISP 的 RAW 输出 CSI 摄像头可与 Libargus 或 GStreamer 插件配合使用。这两种情况下都会使用 V4L2 媒体控制器传感器驱动 API。
传感器驱动 API:V4L2 API 支持视频解码、编码、格式转换和缩放功能。用于编码的 V4L2 开启了多项功能,如比特率控制、质量预设、低延迟编码、临时折衷、运动矢量图等。
计算机视觉
VisionWorks 是一个用于计算机视觉(CV)和图像处理的软件开发包。
OpenCV 是一个领先的开源库,用于计算机视觉、图像处理和机器学习。
VPI(视觉编程接口)是一个软件库,提供可在 PVA2(可编程视觉加速器)、GPU 和 CPU 上实现的计算机视觉或图像处理算法
开发者工具
CUDA 工具包为 C 和 C++ 开发者利用 CUDA 库构建高性能 GPU 加速应用提供了全面的开发环境。该工具包中包括 Nsight Eclipse Edition、含 Nsight Compute 在内的调试和分析工具,以及用于交叉编译应用的工具链。
NVIDIA Nsight Systems 是一款开销较低的系统级分析工具,可提供开发者分析和优化软件性能所需的见解。
NVIDIA Nsight Graphics 是一款独立应用,用于调试和分析图形应用。
支持的 SDK 和工具
PowerEstimator 是一款网络应用,可以简化自定义功耗模式配置文件的创建并估算 Jetson 模块功耗。
Deepstream SDK 是一套完整的分析工具包,可用于基于 AI 的多传感器处理以及视频和图像理解。