TensorFlow用或者不用TensorRT性能差异有多大?比如经典的rResNet50或者MobileNet网络
NVIDIA 中国区HPC/DL 解决方案架构师程帅:
正好PPT有一个数据是跑ResNet50在BitchSize等于16的时候,用TensorRT相比原生只用TensorFlow,大概是每秒4000多张图片对比原来的是2400多张图片每秒,即有70%-80%的性能提升。