拯救环境:加速分析推动降本减排
2023-10-08 17:44
适用于 Apache Spark 的 RAPIDS 加速器可以帮助公司提升性能并保护环境。
各大公司正在研究加速计算如何能提升它们的基准性能,同时还能给地球带来积极影响。
适用于 Apache Spark 的 NVIDIA RAPIDS 加速器软件可以加速数据分析,不仅能提升性能、降低成本,还可以提升能效。这意味着它可以帮助公司实现温室气体(如二氧化碳)零排放的目标。
一项新的基准测试表明,RAPIDS 加速器能让一家公司减少多达 80% 碳足迹,同时将计算速度平均提升五倍,计算成本降低 4 倍。
许多公司都能从这一技术中获益。包括 80% 的世界五百强在内的数千家公司,都在采用 Apache Spark 来分析它们日益增长的数据。
事实上,如果每家采用 Apache Spark 的公司都使用 RAPIDS 加速器,他们每年可共计减少 7.8 公吨的二氧化碳排放,减排效果相当于一辆车使用 878 加仑汽油所产生的排放量。这很好地证明了绿色计算科技能够对抗气候变化。
人类面临的挑战
据联合国,超过 70 个国家已经为温室气体排放设定了一个净零目标。联合国将“向净零排放转型”描述为“人类目前面临的最大的挑战之一”。
许多公司正在为此做出自身的贡献。
例如,NVIDIA 正在与一家大型金融服务公司合作,测试将 Apache Spark 应用到实时欺诈保护中。该公司希望借助加速计算降低碳足迹,并与 Net-Zero Banking Alliance 等组织通力合作。
5月份,世界上最大的 AI 超级计算机之一证实了加速计算能提高能效。
在四个热门的科学应用中,位于美国国家能源研究科学计算中心(NERSC)的 Perlmutter 系统的能效平均提升了五倍,这要归功于 NVIDIA A100 Tensor Core GPU 。与使用 CPU 相比,一个天气预报应用实现了 9.8 倍加速。
NERSC 应用程序通过加速计算实现了效率提升
AT&T 接入 RAPIDS 加速器
美国电话电报公司(AT&T)、Adobe 和美国联邦税务局(IRS)等组织已经发现了 RAPIDS 加速器的性能和成本优势。
在去年的一次测试中,AT&T 仅用五个小时就处理了一个月的移动数据——足有 2.8 万亿行信息。这比以往的任何测试都要快 3.3 倍,而成本降低了 60%。
AT&T 的 AI 架构师 Abhay Dabholkar 在一篇博客中写道:“这一结果令人振奋,因为如果是用 CPU 集群,仅仅是七天的数据就需要处理超过 48 小时——曾经,我们手握数据,但却由于处理时间太长而无法使用它。”
“如果一项任务耗时太长,而且数据太多,那么我们建议转向 GPU ,并借助 Spark ,CPU 上运行的代码也可以在 GPU 上运行。”他补充说。
Adobe 加速服务
Adobe 在其 Intelligent Services 平台上使用了加速计算,帮助市场营销团队用 AI 来加速分析。
他们发现,使用 RAPIDS 加速器时,单个 NVIDIA GPU 节点的性能可以比 16 个节点的 CPU 集群高出 33% ,同时将计算成本降低 70% 。
在另一个训练 AI 模型的测试中,使用搭载 GPU 加速的 RAPIDS 库将速度提高了 7 倍,与在 CPU 上运行的同一任务相比,其成本节省了 90% 。
Spark 带来 20 倍的提升
CPU 的性能不足以处理分析所需的 3TB 以上的数据集,因此 IRS 转向了 RAPIDS 加速器。
一个由 GPU 驱动的服务器组成的 Spark 集群能够处理这些数据负载,并为处理更大的数据集开启了一扇门。
IRS 研究和应用分析与统计部门技术主管 Joe Ansaldi 在一篇博客中表示:“我们目前正在实施这一整合,我们的数据工程和数据科学工作流程以一半的成本实现了超过 20 倍的速度提升。”
如何迈出第一步
提升性能和减少成本的程度在不同的工作负载中有所不同。正因为此,NVIDIA 推出了一款加速的 Spark 分析工具。
该工具向用户展示了 RAPIDS 加速器在无需更改任何代码的情况下,在他们的应用程序上可以实现怎样的提升。该工具还能帮助用户对 GPU 加速进行微调,以在他们的工作负载上获得最佳效果。
一旦 RAPIDS 加速器提高了关键性能,公司就可以计算节省的能源,并报告他们在保护地球方面所取得的进展。