NVIDIA TensorRT是一种高性能神经网络推理引擎，主要是用来在部署神经网络到Inference端之前，对神经网络进行优化加速，来提高程序的吞吐量以及降低延迟。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，支持目前大部分主流的深度学习框架，可获取经过训练的神经网络，并针对降低精度的INT8运算来优化这些网络。TensorRT适用于CUDA GPU的优化神经网络编译器，可以确定每个目标GPU的最佳策略，优化神经网络模型的数值精度、网络层及对相同的的张量计算进行融合，并且可以对GPU的内核以及内存管理等方面进行优化。通过TensorRT的大幅度加速，服务提供商能够以经济实惠的成本部署这些计算密集型人工智能工作负载。目前TensorRT主要应用有图像分类、图像分割和目标检测等。

 

1月18日晚8点，超级公开课NVIDIA专场第19讲将开讲，由NVIDIA深度学习解决方案架构师孟宾宾主讲，主题为《使用TensorRT实现目标检测模型的推理加速》。

 

本次讲解中，孟宾宾老师将从常用的目标检测算法、目标检测模型进行推理预测的关键、以及如何使用TensorRT为目标检测模型推理进行加速等方面进行系统讲解。

 

主讲嘉宾：

孟宾宾，NVIDIA深度学习解决方案架构师，负责基于 NVIDIA Tesla 计算平台的深度学习相关解决方案的架构设计与优化，同时致力于推广如何利用 NVIDIA GPU 构建人工智能和加速计算应用。硕士毕业于中国科学技术大学，毕业后加入腾讯优图实验室，负责深度学习相关算法优化和人脸分析相关应用落地优化等工作，在腾讯优图实验室工作期间发表专利5篇。

 

 

课程大纲：

1、神经网络推理现状及挑战

2、TensorRT加速神经网络推理计算的原理

3、TensorRT如何支持不同框架下的神经网络

4、TensorRT部署流程

5、应用案例分享

 

点击立即听课，登录之后即可听课。