首页 > 深度学习 > NVIDIA携加速数据科学再掀高性能计算革新浪潮
NVIDIA携加速数据科学再掀高性能计算革新浪潮

NVIDIA携加速数据科学再掀高性能计算革新浪潮

2019-02-22 09:00

#人工智能 #HPC #加速计算


 

nvidia 正在与全球科技巨头和美国顶级超级计算实验室开展合作,为数据分析和机器学习,这一高性能计算发展最为迅猛的领域带来加速支持。

 

这一新计划标志着高性能计算加速工作迎来了一个关键时刻,预计在未来几年内,高性能计算的市场规模将迎来显著的增长。全球数据量每年都会翻倍,但随着摩尔定律的终结,cpu 计算已遭遇到了瓶颈。

 

通过与 microsoft、cisco、dell emc、hewlett packard enterprise、ibm、oracle 等公司携手,nvidia已经为客户实现了 50 倍的数据任务加速。根据美国能源部橡树岭国家实验室的初始测试表明,在相关气候预测研究中,所实现的加速效果更是高达 215 倍之多。

 

 “激流”般的革新

 

早在十年前,nvidia就已经实现了针对科学计算的加速。从那时起,在我们的帮助下,已有包括多位诺贝尔奖得主在内的众多研究人员成功为其计算密集型模拟实现了加速,从而得以应对一些世界上最为困难的挑战。

 

随后,也就是五年前,我们通过优化后的软件使gpu平台具备了深度学习加速功能,并就此引发了一场 ai 变革。

 

nvidia于去年推出了新款开源数据科学加速软件,标志着第三次技术革新浪潮的兴起。

 

此次浪潮以 rapids 为中心,这是一个开源的数据分析和机器学习加速平台,用于完全在 gpu 上执行端到端的数据科学训练管线。

 

rapids依赖于nvidia cuda进行低级别计算优化,并通过用户友好型的python界面实现 gpu 并行结构和极高的内存带宽。rapids 数据框架库可模仿 pandas api,且构建在 apache arrow 之上,可以在最大限度上实现互操作性和高性能。

 

更多加速机器学习步入云端

 

如今,nvidia正在与全球各大领先的技术公司合作,让更多的用户可以在更多的地方享受到加速机器学习带来的便利。

 

通过与 nvidia 的紧密合作,microsoft 正在为其 azure machine learning 用户提供加速机器学习的服务。

 

“azure machine learning 是一个领先的平台,帮助数据科学家从云端到终端设备构建、训练、管理并部署机器学习模型。”microsoft azure ai 企业副总裁 eric boyd 说道,“我们一直在与 nvidia 合作,为数据科学家提供由 gpu 提供技术支持的计算能力。此外,我们也很高兴能够通过 rapids 开源项目为 azure 用户提供软件。我期待着能够看到数据科学社区利用 rapids 和 azure machine learning 取得研究成果。”

 

更多加速机器学习系统即将问世

 

同时,nvidia也在与基于 nvidia hgx-2 服务器平台的领先计算机制造商开展合作,共同研发一系列适用于所有 ai 和高性能计算工作负荷的新产品。

 

通过rapids,数据科学家可以将更多时间用于分析和迭代,并减少等待时间。

 

nvidia hgx-2 可为每个节点提供每秒 2 千万亿次浮点运算的计算性能,与仅采用 cpu 的服务器相比,nvidia hgx-2 运行机器学习工作负荷的速度要快上近 550 倍。

 

加速机器学习赋能科学突破

 

美国多家领先实验室所从事的研究课题包括核聚变研究、人类基因组学,和气候预测在内的各个领域,这些研究工作均依赖于科学计算、深度学习和数据科学。

 

nvidia dgx-2 旨在应对需要处理海量计算的应用,帮助科研人员在对性能要求最高的领域里取得性能突破。dgx-2 可以与 rapids 开源机器学习软件配合使用,其现已帮助多家美国能源部实验室的科学家加速了他们的研究进程。

 

其中,美国橡树岭国家实验室的研究人员已经借助 dgx-2 和 rapids 取得了早期成果。

 

如今,研究人员可以利用体量庞大的观察数据来构建模型,从而增强与气候模拟相关的能源安全应用。然而在过去,利用气候数据集进行训练的机器学习算法一直受到计算性能的制约,且训练过程非常缓慢。但现在,改变终于来了。

 

借助 dgx-2 和 rapids,橡树岭国家实验室的研究人员已经大大提升了在大型数据集上应用机器学习的速度。他们在 dgx-2 上运行xgboost,将大小为224gb的模型训练用时从在cpu节点上所需的 21 个小时,缩短至仅 6 分钟,实现了215倍的加速。

 

所有用于加速机器学习和数据分析的 rapids 开源库均可免费下载。

相关新闻