如果不能retrain，sparsity能有多大的加速？

NVIDIA中国区工程及解决方案总监赖俊杰：

Sparsity这种结构化技术是针对inference场景来设置的，结构化相当于我们对于这种稀疏性有一些特定的要求。换句话说一个随便的网络，我们按照这种结构化的稀疏要求，直接去做inference，精度很有可能会有问题，所以我们要用结构化稀疏还是需要retrain的。

问题来源