首页 > 最新资讯 > 新机器新用途 | NVIDIA Selene 超级计算机比任何时候都繁忙
新机器新用途 | NVIDIA Selene 超级计算机比任何时候都繁忙

新机器新用途 | NVIDIA Selene 超级计算机比任何时候都繁忙

2021-01-08 20:27

#人工智能 #深度学习


Selene 是 NVIDIA 迄今为止那些有着雄心壮志技术中的核心,它每天在 Slack 上向同事们发送着成千上万条消息。

通过与用于跟踪代码部署的关键行业工具 GitLab 连接,Selene 为同事们提供着有关项目进展的即时更新。

尽管这个 NVIDIA 最好的资源之一和 NVIDIA 在加利福尼亚硅谷的园区距离只有一个街区之隔,但疫情期间,只有借助远程控制机器人才能找到 Selene。

Selene——其实是一台超级计算机。

作为全球顶级的商用机器,Selene 在 11 月的 TOP 500 超级计算机排行榜中被评为世界第五快的超级计算机。

在此排行榜上,Selene 内置新的 NVIDIA A100 GPU 的 HPL(高性能计算的关键基准)达到了 63.4 petaflops。

虽然 TOP 500 基准测试(最初于 1993 年推出)一直受到密切关注,但今天更重要的指标是仍然是 AI 的性能峰值。

按照该指标,Selene 所使用 A100 的第三代内核可提供超过 2,795 petaflops 或近 2.8 exaflops 的最高 AI 性能。

新版本 Selene 的性能比以前的版本翻了一番, 它在 MLPerf AI Training 用于商用产品的基准测试中获八项性能记录。

但是这台机器的非凡之处并非在于它的原始性能,抑或这个两轮的,由两台 NVIDIA Jetson TX2 驱动的名为“Trip(旅途)”的机器人让 Selene 穿梭于主机托管设施的时间有多长。

再或者是风扇安静(按超级计算标准)的嗡嗡声,都通过 NVIDIA Mellanox HDR InfiniBand 网络技术将其 555,520 个计算核心和 1,120,000 GB 内存冷却。

而是它与 NVIDIA 一些顶级研究人员的日常工作紧密地联系在一起,从而打造了它的非凡之处。

这也是为什么,节日期间公司其他部门都在休息而 Mike Houston 却比以往更忙。 

供不应求

Houston,拥有斯坦福大学计算机科学专业的博士学位,是戈登贝尔奖 (ACM Gordon Bell Prize) 获得者,同时也是 NVIDIA AI 系统架构师,负责协调公司超过 450 位活跃用户在 Selene 上的时间。

整理可以在机器上工作的提案,是他工作的重要部分。为此,Houston 说,他的目标是平衡研究、高级开发、高效工作之间的关系。

NVIDIA 研究人员,应用深度学习研究副总裁 Bryan Catanzaro 表示,没有其他像 Selene 一样的机器。

Catanzaro 说:“Selene 是我们完成最具挑战性工作的唯一途径,没有它,我们将无法完成工作。” 目前机器已经投入使用。

Catanzaro 领导着一支由 40 多名研究人员组成的团队。他们正在使用该机器帮助推进大规模语言建模的工作,这也是最艰巨的AI挑战之一。

所有在 NVIDIA 争夺机器使用时间的研究人员都映照了他这句话。

自2020年春季起,Selene 的产能仅用了三周的时间便增加了一倍以上。这使它成为了 NVIDIA 不断发展,相互连接超级计算能力综合体皇冠上的明珠。

除了大规模的语言建模(当然还有性能运行)之外,NVIDIA 的计算能力还被团队用于从自动驾驶汽车到下一代图形渲染再到量子化学和基因组学工具的所有工作。

NVIDIA 方案架构和工程副总裁 Marc Hamilton 介绍,关键是要有扩展能力来处理大规模的任务,也有足够能力来处理较小的任务。

Hamilton 把它比作搬运泥土。有时一台手推车就足以完成这项工作。但对于其他需要更多泥土的工作,没有一辆卡车你是无法完成的。

Hamilton 说:“我们并不是说它是地球上第五快的超级计算机,而是因为我们需要它,因为我们每天都在使用它。”

既快速又灵活

Selene 的关键组件 NVIDIA DGX SuperPOD 非常高效。

SuperPOD 在其 2.4 HPL 性能运行期间实现了 26.2 gigaflops/watt 的功率,因此排在全球最高效的 Green 500 超级计算机的最新列表中。

通过添加更多 SuperPOD 使得效率成为其扩展或承载更大计算负载能力的关键因素。

每个 SuperPOD 依次由紧凑的,预先配置的 DGX A100 系统组成,这些系统使用最新的 NVIDIA Ampere 架构 A100 GPU 和 NVIDIA Mellanox InfiniBand 构建用于计算和存储结构。

大陆集团,洛克希德·马丁公司(LMT)和微软都采用了 DGX SuperPOD。

佛罗里达大学(University of Florida)的最新超级计算机也基于 SuperPOD,预计一旦上线,将成为学术界最快的计算机

Selene 现在由四个 SuperPOD 构成,每个 SuperPOD 有140 个节点和NVIDIA DGX A100,从年初的 280 个节点提升到了 560 个。

对速度的追求

尽管到目前为止一切顺利,但 Catanzaro 仍然希望获得一切可以得到的计算能力。

Catanzaro 拥有加州大学伯克利分校计算机科学博士学位,十年前通过将 1,000 个 CPU 系统换成三个现成的 NVIDIA Geforce GTX 580 GPU,这让他的工作效率更快,从而成为使用 GPU 加速机器学习的先驱。

这也引发深度学习革命的众多关键发展因素之一。十年后,Catazaro 认为,正是因为 Selene ,如今他可以获得的算力高出了近一百万倍。

Catazaro 说:“我们的团队已经得到了 NVIDIA 真正的支持,因为可以在 Selene 上做世界一流前沿项目,而且我们还想做更多。”

这也是为什么 Selene 会比任何时候都更加繁忙。

相关新闻