超快速的深度学习平台:NVIDIA DGX-1 系统架构解读

超快速的深度学习平台:NVIDIA DGX-1 系统架构解读

时间:2017年11月27日 20:38
 
 
活动内容
深度学习正迅速改变计算机科学领域的发展,并对 Google 、Facebook]及 Amazon等大型企业的经济因素产生了巨大影响。即使此新兴学科与技术已成为主流,其迅猛发展之势仍然丝毫不减。为服务日益复杂的应用程序及提供高质量结果,神经网络正呈指数地不断深化和复杂化。与此同时,主流交互式应用程序中部署的神经网络也受到推动,以实 现更快速的推理和结果预测。
 
因此,深度学习性能需求也在日益增长。Facebook CTO Mike Schroepfer 曾指出:
 
• Facebook部署的神经网络每秒可处理6百多万预测
• Facebook当前25%的工程师正使用AI和机器学习API及基础架构
• Facebook内部部署有计算能力超过40PFLOP/s的GPU,以充分支持组织内的深度学习
 
在 2016 年 4 月的一次采访中,百度首席科学家吴恩达表示,百度在机器学习方面持 HPC (High Performance Computing,高性能计算)相关观点:“网络训练速度越快,数据集及模型就可进行更多迭代,而迭代次数越多,机器学习就越先进。”
 
吴恩达指出,训练百度的某个语音模型即需 10 exaflops 的计算能力。
 
神经网络的不断深化与复杂化会极大地提升准确性,例如微软的深度残差网络 (Deep Residual Networks) [He et al.2015]),但训练此类高度准确的神经网络需要大量计算时间,而网络的复杂性 亦增加了预测延迟。

NVIDIA DGX-1
 
NVIDIA DGX-1是一款新的人工智能 (AI) 超级计算机,旨在满足深度学习训练对性能永无止 境的巨大需求。NVIDIA 对 DGX-1 的期望是,打造世界上超快速的深度神经网络训练平台,为深度 学习研究者及数据科学家实现网络快速部署和即插即用的特点。DGX-1 架构汲取了 NVIDIA 在高性 能计算领域的丰富经验,以及与各大重要云服务提供商和众多《财富》1000 强公司通力合作所获得 的在 NVIDIA GPU 上深度学习框架优化的相关知识。

欲了解 NVIDIA DGX-1  最详细架构信息,请点击下载白皮书全文。
订阅英伟达 NVIDIA 技术月刊
输入电子邮件,订阅 NVIDIA 加速计算或深度学习电子月刊
订阅