NVIDIA在目标检测模型量化方面,怎样做到速度和精度之间的平衡。NVIDIA 在目标检测采用哪种算法
NVIDIA资深并行计算技术经理池哲贵:
速度上面可以用FP16或INT8来达到目标的速度;在精度上面,如果用INT8,目前有很多方法,最基本的有TensorRT INT8基本的量化算法,像entropy、linux这些calibration的算法,如果校准的算法不满足精度的要求,有些debug的手段,去检查当前网络中哪些层影响精度,后面再去优化它。甚至有些可以在训练阶段去调整INT8的精度,把训练阶段设生成的INT8精度校准表导入到TensorRT里,让TensorRT在做influence的精度跟训练时的精度一样。