Torch-TensorRT 1.1.0 版本正式发布
2022-05-13 19:24
我们十分高兴地宣布,Torch-TensorRT 1.1.0 版本正式发布!
软件版本
PyTorch 1.11
CUDA 11.3(在 x86_64 上,默认设置下,兼容的 PyTorch Build 支持较新版本的 CUDA 11)
cuDNN 8.2.4.15
TensorRT 8.2.4.2
由于最近 JetPack 的升级和其发布流程的变化,Torch-TRTv1.1.0 版本不支持Jetson(Jetpack 5.0DP 或其他)。将在中期版本(Torch-TensorRT1.1.x)同时支持 Jetpack 5.0DP 和 TensorRT 8.4。
重要变更
HF BERT 性能
算子和性能的进一步优化使 HF BERT 的性能比 V1.1 版本提升了 40%
更多的算子
18 个新的 aten 算子转换器提高了 TensorRT 的模型覆盖范围和性能
查看全部 250+ 个算子(请复制链接查看)
https://github.com/pytorch/TensorRT/releases/tag/v1.1.0#:~:text=narens%40nvidia.com-,Operators%20Supported,-Operators%20Currently%20Supported
Triton 后端支持
21.12 版本以上的 Triton 现已支持 Torch-TensorRT
将在不久后提供工作流程教程
调试工具
上下文管理器现在允许使用更简洁清晰的调试工作流程
不支持的算子已降级为警告,建议使用上下文管理器进行调查
API 变更
max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被删除
相关链接
Torch-TensorRT GitHub:https://github.com/NVIDIA/Torch-TensorRT
Torch-TensorRT 文档:https://nvidia.github.io/Torch-TensorRT/
Torch-TensorRT v1.1.0 版本说明:https://github.com/NVIDIA/Torch-TensorRT/releases/tag/v1.1.0
所有与 Torch-TensorRT 相关的 Bug 都应被归入新的 “MachineLearning – TorchTRT” nvbugs 模块。