TensorRT只是加速,对精度有影响吗?
NVIDIA高级系统架构师易成:
TensorRT有多个方式进行inference加速,一个是layer的融合,这个是没有精度损失的;另外还可以采用低精度的FP 16 INT 8计算,FP 16基本没有精度损失,INT 8需要做量化,这时候会有很高的加速,精度损失也很小。