跨越距离:NVIDIA 平台解决边缘的 HPC 问题
2022-11-29 12:15
NVIDIA Holoscan、NVIDIA BlueField DPU 和 MetroX-3 助力在边缘实现安全访问、数据迁移和实时流处理。
研究人员之间的协作(如科学社区本身)遍及全球。
大学和企业的长距离协同工作需要通用语言和安全管道,才能让每台设备(从显微镜、传感器到服务器和校园网络)都能够查看和理解各个设备正在传输的数据。需要存储、传输和分析的数据量不断增加,会使挑战更加复杂。
为克服这一问题,NVIDIA 推出了一种高性能计算平台,该平台结合了边缘计算和 AI ,从科学边缘仪器中捕获和整合流数据,并实现设备间的远距离通信。
该平台由三个主要组件组成。NVIDIA Holoscan 是一款软件开发套件,数据科学家和领域专家可以使用该套件为流数据的传感器构建 GPU 加速处理流程。MetroX-3 是一款新的远程互连系统,可扩展 NVIDIA Quantum-2 InfiniBand 平台的连接。NVIDIA BlueField-3 DPU 可提供安全智能的数据迁移。
研究人员可以使用新的 NVIDIA 平台进行 HPC 边缘计算,以安全地沟通和协作解决问题,并将不同的设备和算法结合在一起,作为一台大型算力平台运行。
适用于边缘 HPC 的 Holoscan
NVIDIA Holoscan 由 GPU 计算平台(包括 NVIDIA IGX 、HGX 、DGX 系统)加速,可提供处理全球各地科学仪器生成的海量数据流所需的超高性能。
适用于 HPC 的 NVIDIA Holoscan 包含适用于 C++ 和 Python 的新 API ,HPC 研究人员可以使用这些 API 构建传感器数据处理工作流,这些工作流对于非图像格式十分灵活,并且有足够的可扩展性,可以将原始数据转换为实时见解。
Holoscan 还管理内存分配以确保零拷贝数据交换,因此开发者可以专注于工作流逻辑,而不必担心管理文件和内存 I/O。
Holoscan 的新功能将于下月提供给所有 HPC 开发者。注册以获得 Holoscan 0.4 SDK 抢先体验的通知。
MetroX-3 跨越距离
下月推出的 NVIDIA MetroX-3 远程互连系统将 NVIDIA Quantum-2 InfiniBand 平台的最新云原生功能从边缘扩展到 HPC 数据中心核心。它使站点之间的 GPU 能够通过长达 25 英里(40 公里)远的 InfiniBand 网络安全地共享数据。
利用原生远程直接内存访问(RDMA),用户可以轻松地将数据和计算作业从一个 InfiniBand 连接的小型集群迁移到主数据中心,或者将分布在不同地理位置的计算集群组合起来,从而获得更高的整体性能和可扩展性。
数据中心运营商可以使用 NVIDIA Unified Fabric Manager 管理其 MetroX-3 系统,在所有 InfiniBand 连接的数据中心网络中高效地调配、监控和操作。
NVIDIA BlueField DPU
助力实现安全、高效的 HPC
NVIDIA BlueField DPU(数据处理器)可卸载、加速和隔离高级网络、存储和安全服务,以提高现代 HPC 的性能和效率。
在 SC22 期间,系统软件公司 Zettar 将展示其基于 NVIDIA BlueField-3 DPU 的数据迁移和存储卸载解决方案。Zettar 软件可以将数据迁移任务整合到一个占地仅为 4U 机架空间的数据中心中,而现在一般基于 x86 的解决方案需要 13U 的机架空间。