首页 > 最新资讯 > 一文带你轻松上手TensorRT 为医疗领域深度学习应用提供优化
一文带你轻松上手TensorRT 为医疗领域深度学习应用提供优化

一文带你轻松上手TensorRT 为医疗领域深度学习应用提供优化

2020-09-30 16:26

#人工智能 #深度学习


医疗影像深度学习推理应用具有计算量大、实时性要求高的特点。如果没有对应用进行很好地优化,便会降低医疗AI在实际使用过程中的使用体验,同时也带来算力成本的增加。借助用于高性能深度学习推理的SDK——NVIDIA TensorRT,可以为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化,提高推理效率!

TensorRT是什么?

NVIDIA TensorRT是一个用于高性能深度学习推理的SDK。它包括深度学习推理优化器和运行时,可以为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化。

为什么要使用TensorRT?

医疗影像深度学习推理应用具有计算量大、实时性要求高的特点。举个例子,一张CT影像往往具有几百层甚至上千层数据,在做推理的时候相当于对几百上千张图片进行计算。如果没有对应用进行很好地优化,那么处理完一张CT会需要很长时间,这就会降低医疗AI在实际使用过程中的使用体验,同时也带来算力成本的增加。因此,优化推理过程、提高推理效率对医疗影像应用落地至关重要。

基于TensorRT的应用程序在推理过程中比仅使用CPU的平台快40倍。使用TensorRT,您可以优化使用所有主流框架训练的神经网络模型,最后部署到超大规模数据中心或嵌入式平台。

TensorRT建立在CUDA(NVIDIA并行编程模型)上,使您能够利用CUDA-X中人工智能自主机器、高性能计算和图形的库、开发工具和技术,为所有深度学习框架优化推理。

TensorRT为深度学习推理应用程序(如图像、视频流、语音识别、推荐和自然语言处理)的生产部署提供INT8和FP16优化。降低精度推理显著降低了应用程序延迟,这是许多实时服务、自动和嵌入式应用程序的要求。最新发布的TensorRT 7.1版本加入了对Ampere架构GPU的支持,并加强了对3D模型的支持,使用FP16进行3D模型的推理,可以获得更强的性能提升。

 

 

TensorRT在多种AI模型上的Benchmark

(复制链接至浏览器打开,了解更多:https://developer.nvidia.com/deep-learning-performance-training-inference#deeplearningperformance_inference )

如何上手TensorRT?

NVIDIA与深度学习框架开发人员密切合作,在人工智能平台上使用TensorRT实现优化的推理性能。如果您的训练模型是ONNX格式或其他流行的框架,比如TensorFlow和MATLAB,那么有一些简单的方法可以将模型导入TensorRT进行推理。

TensorRT已经集成到TensorFlow中,在您的TensorFlow程序中,仅需几行代码,就可以获得TensorRT的强大推理性能优化。(更多信息请见TensorRT integrated with TensorFlow:https://developer.nvidia.com/blog/tensorrt-integration-speeds-tensorflow-inference/)

TensorRT提供了一个ONNX解析器,因此您可以轻松地通过ONNX将Caffe2、Chainer、Microsoft Cognitive Toolkit、MxNet和PyTorch的模型导入TensorRT。(了解有关TensorRT中ONNX支持的更多信息:https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#import_onnx_python)

TensorRT还与ONNX Runtime集成,为ONNX格式的机器学习模型提供了一种实现高性能推理的简单方法。(了解有关ONNX Runtime - TensorRT集成的更多信息:https://azure.microsoft.com/en-us/blog/onnx-runtime-integration-with-nvidia-tensorrt-in-preview/)。

我们在Github上开源了一系列TensorRT的sample,包括医疗影像分割任务中常用的MaskRCNN:

https://github.com/NVIDIA/TensorRT/tree/master/samples/opensource/sampleUffMaskRCNN。

基于TF-TRT的3D V-Net的sample:

http://dwz.date/cFX2

除此之外,我们在Youku也有相关视频,帮助您快速了解并上手TensorRT:

http://i.youku.com/i/UMTA3MjYwNA==/videos?q=tensorrt

相关新闻