TRTIS内使用pipeline串联多个模型中间的前后处理是否需要用CUDA实现？
NVIDIA高级系统架构师胡麟:
取决于你自己是想把它放在CPU还是GPU上来做。
问题来源
使用TensorRT Inference Server加速深度学习模型的部署 | NVIDIA专场第30讲
分享至：