首页 > 最新资讯 > NVIDIA 首席科学家在 GTC 主题演讲中介绍 AI 研究的最新进展
NVIDIA 首席科学家在 GTC 主题演讲中介绍 AI 研究的最新进展

NVIDIA 首席科学家在 GTC 主题演讲中介绍 AI 研究的最新进展

2020-12-15 16:20

#人工智能 #深度学习 #GTC20


著名计算机科学家 Bill Dally 讲述他的团队如何助力 AI 性能实现逐年翻倍。

今天,NVIDIA 首席科学家 Bill Dally 在 GTC 中国线上大会主题演讲中说道,NVIDIA 的研究人员致力于打造速度更快的 AI 芯片,并将其用于具有更高带宽的系统,从而简化编程。

他以三个项目为例,讲述了自己带领的 200 人的研究团队如何成功实现“黄氏定律 (Huang’s Law)”。这则以 NVIDIA 首席执行官黄仁勋(Jensen Huang)名字命名的定律,预测 GPU 将推动 AI 性能实现逐年翻倍。

Dally 讲述:“如果我们真想提高计算机性能,黄氏定律就是一项重要指标,且在可预见的未来都将一直适用。此前,Dally 曾负责 NVIDIA 在 AI、光线追踪和高速互连领域的相关研究。”

NVIDIA 助力 AI 推理性能每年提升一倍以上

超高能效加速器

为实现这一突破,NVIDIA 研究人员专门开发了一种名为 MAGNet 的工具,其生成的 AI 推理加速器在模拟测试中,能够达到每瓦 100 tera ops 的推理能力,比目前的商用芯片高出一个数量级。

MAGNet 采用了一系列新技术来协调并控制通过设备的信息流,最大限度地减少数据传输,而数据传输正是当今芯片中最耗能的环节。这一研究原型以模组化实现,因此能够灵活扩展。

另外,研究团队还开展了一项研究,旨在以更快速的光链路取代现有系统内的电气链路。

发挥所有光子的潜能

Bill Dally 拥有 120 多项专利,在 2009 年加入 NVIDIA 之前,曾任斯坦福大学计算机科学系主任。Dally 表示:“我们可以将连接 GPU 的 NVLink 速度提高一倍,也许还会再翻番,但电子信号最终会消耗殆尽。”

该团队正在与哥伦比亚大学的研究人员密切合作,探讨如何利用电信供应商在其核心网络中所采用的技术,通过一条光纤来传输数十路信号。

这种名为“密集波分复用”的技术,有望在仅一毫米大小的芯片上实现 Tb/s 级数据的传输,是如今互连密度的十倍以上。

除了更大的吞吐量,光链路也有助于打造更为密集型的系统。Dally 举例展示了一个未来将搭载 160 多个 GPU 的 NVIDIA DGX 系统模型。

工程师借助光链路,在单一系统中可搭载 160 多个 GPU

软件方面,NVIDIA 的研究人员开发了全新编程系统原型 Legate。开发者借助 Legate,即可在任何规模的系统上,运行针对单一 GPU 编写的程序——甚至适用于诸如 Selene 等搭载数千个 GPU 的巨型超级计算机。

Legate 将一种新的编程速记融入了加速软件库和高级运行时环境 Legion,目前它正在美国国家实验室接受测试。

描绘美好未来

除上述三项研究,Dally 还在主题演讲中谈到了 NVIDIA 特别针对医疗健康、无人驾驶汽车和机器人等众多行业打造的平台。同时,他还致力于钻研数据科学、AI 和图形处理。

Dally 表示:“经过几代人的努力,NVIDIA 的产品将通过基于物理渲染的路径追踪技术,实时生成令人惊艳的图像,并能够借助AI构建整个场景。”

此外,他还首次公开展示了 NVIDIA 的对话式 AI 框架 Jarvis 与 GauGAN 的完美组合。GauGAN 利用生成式对抗网络,只需简略构图,就能创建美丽的风景图。在演示中,用户可通过语音指令,即时生成像照片一样栩栩如生的画作。

借助 NVIDIA Jarvis,用户可通过语音指令,利用 GauGAN 进行绘画创作

在主题演讲视频录制的间隙,Dally 接受了采访,表示对研究团队在多个领域取得的开创性进展深感自豪。

他说:“当前,NVIDIA 在光线追踪领域所取得进展,都始于 NVIDIA  研究院打造的原型,我们的产品团队都很兴奋。2011年,我委派 NVIDIA 研究员 Bryan Catanzaro 与斯坦福大学教授 Andrew Ng 共同合作一个项目,后来打造出 CuDNN 软件,让深度学习领域大量的研究工作成为可能。”

立足网络领域

此外,Dally 还牵头开展了一项合作,构建了 NVLink 和 NVSwitch 最初的原型。NVLink 和 NVSwitch 如今用于全球最大型的超级计算机中,实现了其内部 GPU 的互连。

他说:“产品团队总能迅速将研究工作转化为实际成果,这也是 NVIDIA 如今能够成为全球公认最领先的网络公司之一的原因。”

谈及对科技的热情,Dally 说自己就像个沉浸在糖果故事里的孩子。也许某一天,原本还在帮助一组团队研究 AI 加速器的他,就会突然转而帮助另一团队解决机器人领域的复杂问题。

他说:“我现在所做的,是一份全世界,或者起码是全公司里最有趣的工作,让我有机会能够助力塑造未来。”

除大会主题演讲外,GTC 中国线上大会还将提供 220 多场主题演讲和分论坛,均可免费参加,且绝大多数将使用中文。

GTC 中国线上大会高峰论坛及初创企业展示

主题演讲之后,NVIDIA 的资深专家齐聚高峰论坛,介绍公司在 AI、数据科学和医疗健康领域的多项突破性技术在中国的落地应用。

此外,面向 AI 和数据科学领域初创企业的孵化项目NVIDIA 初创加速计划(NVIDIA Inception)将邀请 12 家领军中国初创企业出席此次大会。

大会吸引了众多行业领军企业与机构参与其中,包括阿里巴巴、AWS、百度、字节跳动、中国电信、戴尔科技、滴滴、新华三、浪潮、快手、联想、微软、平安、腾讯、清华大学和小米。

相关新闻