NVIDIA AI 计算专区
首页
|
最新资讯
|
精彩活动
|
NVIDIA AI 大讲堂
|
白皮书下载
产品推荐
知识问答
登录
注册
不同深度模型的混合精度策略如何确定?有没有自动化方法?
阿里巴巴高级算法工程师王梦娣:
主要的问题是策略如何确定,在图改写的维度主要基于规则和底层硬件的特性来制定一个合理的规则,对于loss-scale策略是基于auto loss-scaling的自动化控制策略。可能会有更多维度的精度,比如INT8,INT4,这个控制我们团队有一些已经发布的,也有正在研究的一些结果,会去控制混合精度策略,类似于哪个layer选择什么精度才是合理的,会有一些auto的概念。
登录查看完整答案
问题来源
PAI自动混合精度训练的实现与应用 | NVIDIA专场第21讲
分享至: