除了训练,阿里有做推理框架的相关工作吗?速度怎么样?
阿里巴巴高级算法工程师王梦娣:
我们有推出PAI-Blade推理优化的框架,里面会有两个维度,一个是自动层优化,另一个是auto comprsssion的维度,目前来讲,在阿里内部已经广泛使用,目前已经覆盖了阿里的绝大多数不同的model,目前对外页有小范围的邀请测试。