由于用户需求不同,工程中可能需要用到其他的推理加速部署平台,TensorRT如何与其他推理平台兼容?
NVIDIA 中国区HPC/DL 解决方案架构师程帅:
TensorRT本身提供了C++接口,关于如何集成TensorRT到自己的加速平台,更多依赖于平台的具体工程环境。在国内,很多公司已经实现了具体在自己平台的集成,比如百度今年开源Anakin推理平台,很好的集成了TensorRT,你可以直接通过Anakin的接口调用TensorRT去做计算,我觉得这不是TensorRT的问题,可能是你们平台本身的工程问题。