TensorRT Inference Server的优势是什么，比起caffe或者caffe2的框架上跑推理的优势是什么？
NVIDIA高级系统架构师胡麟:
TensorRT Inference Server也是依赖框架的后端来做推理的，执行推理的性能和框架的本身来做推理的性能是一样的，但是用TensorRT Inference Server可以同时跑多个模型，还有很多其他的优势。
问题来源
使用TensorRT Inference Server加速深度学习模型的部署 | NVIDIA专场第30讲
分享至：