首页 > 最新资讯 > Torch-TensorRT 1.1.0 版本正式发布
Torch-TensorRT 1.1.0 版本正式发布

Torch-TensorRT 1.1.0 版本正式发布

2022-05-13 19:24

#人工智能 #深度学习


我们十分高兴地宣布,Torch-TensorRT 1.1.0 版本正式发布!

软件版本

PyTorch 1.11

CUDA 11.3(在 x86_64 上,默认设置下,兼容的 PyTorch Build 支持较新版本的 CUDA 11)

cuDNN 8.2.4.15

TensorRT 8.2.4.2

 

由于最近 JetPack 的升级和其发布流程的变化,Torch-TRTv1.1.0 版本不支持Jetson(Jetpack 5.0DP 或其他)。将在中期版本(Torch-TensorRT1.1.x)同时支持 Jetpack 5.0DP 和 TensorRT 8.4。

重要变更

HF BERT 性能

算子和性能的进一步优化使 HF BERT 的性能比 V1.1 版本提升了 40%

更多的算子

18 个新的 aten 算子转换器提高了 TensorRT 的模型覆盖范围和性能

查看全部 250+ 个算子(请复制链接查看)

https://github.com/pytorch/TensorRT/releases/tag/v1.1.0#:~:text=narens%40nvidia.com-,Operators%20Supported,-Operators%20Currently%20Supported

Triton 后端支持

21.12 版本以上的 Triton 现已支持 Torch-TensorRT

将在不久后提供工作流程教程

调试工具

上下文管理器现在允许使用更简洁清晰的调试工作流程

不支持的算子已降级为警告,建议使用上下文管理器进行调查

API 变更

max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被删除

相关链接

Torch-TensorRT GitHub:https://github.com/NVIDIA/Torch-TensorRT

Torch-TensorRT 文档:https://nvidia.github.io/Torch-TensorRT/

Torch-TensorRT v1.1.0 版本说明:https://github.com/NVIDIA/Torch-TensorRT/releases/tag/v1.1.0

 

所有与 Torch-TensorRT 相关的 Bug 都应被归入新的 “MachineLearning – TorchTRT” nvbugs 模块。

相关新闻