使用 NVIDIA BlueField-3 DPU 驱动下一波应用程序
2023-06-07 20:16
分享到微信
分享到微博
ChatGPT、Stable Diffusion、DALL-E 以及类似的应用程序让生成式 AI 震惊了世界。ChatGPT 是有史以来发展最快的应用程序。其易用性和令人印象深刻的功能在短短几个月内吸引了超过一亿用户。
NVIDIA BlueField DPU 助力加速计算
NVIDIA 加速计算技术堆栈使每个行业都能利用人工智能的强大功能，提供运行下一波应用程序所需的性能、规模和能效水平。
加速计算主要运行在三个基本元素之上：
CPU：用于串行处理和运行超线程应用程序。
GPU：擅长并行处理，并针对加速现代工作负载进行了优化。
DPU：非常适合基础设施计算任务；用于卸载、加速和隔离数据中心网络、存储、安全和管理工作负载。
在现代软件定义数据中心中，执行虚拟化、网络、存储和安全的操作系统可能会消耗近一半的数据中心 CPU 核心和相关电力。数据中心必须加速每个工作负载以节省电力，并释放 CPU 来处理创收工作负载。
NVIDIA BlueField DPU（数据处理器）卸载并加速数据中心操作系统和基础设施软件。
NVIDIA 正在其数据中心计算系统中集成 BlueField-3 DPU，包括第三代 NVIDIA OVX 系统，以便在数据中心规模创建和操作 NVIDIA Omniverse 应用程序。想了解更多信息，请参阅 NVIDIA 发布用于驱动工业元宇宙应用的第三代 OVX 计算系统，推动 Omniverse 实现大规模部署。
使用 DPU 的领先企业
Oracle 云基础设施（OCI）继在 GTC 2023 发布之后，最近公布了将 NVIDIA BlueField-3 DPU 集成到其网络堆栈中的计划。该计划旨在通过将网络和安全任务从 CPU 卸载到 DPU 来优化数据中心性能，从而实现更快、更高效的处理。
通过利用 BlueField-3 DPU 的强大功能，OCI 随时可以增强其基础设施，为客户提供无缝的云体验。想了解更多详细信息，请参阅 Oracle 云基础设施（OCI）选择 NVIDIA BlueField 数据中心加速平台。
此外，包括 Check Point、Cisco 、DDN、Dell EMC、Juniper、Palo Alto Networks、Red Hat 和 VMWare 在内的二十多个生态系统合作伙伴使用 BlueField 数据中心加速技术来更高效地运行其软件平台。
NVIDIA BlueField -3 平台概述
NVIDIA BlueField-3 具有 220 亿个晶体管，是第三代 NVIDIA DPU。它是一款片上系统（SoC）设备，可提供高达 400Gbps 以太网和 InfiniBand 连接。BlueField -3 DPU 最多支持四个不同的 MAC 地址，可以提供各种端口配置，从单个 400Gbps 端口（四通道 PAM4 112）到四个 25、50 或 100 Gbps端口。
与上一代相比，BlueField-3 DPU 具有 2 倍的网络带宽、4 倍的计算能力和几乎 5 倍的内存带宽，同时通过 NVIDIA DOCA 软件框架提供完全的向后兼容性。
这些关键进步使 BlueField-3 DPU 能够以高达 8 倍的速度运行工作负载，同时降低 TCO 并提高数据中心能效。例如，BlueField -3 DPU 可从 CPU 卸载 HPC / AI MPI 集合通信，将速度提高近 20%，这相当于为大型超级计算机节省 1800 万美元的成本。想了解更多信息，请参阅节能环保：NVIDIA BlueField DPU 提升数据中心效率。
图 1：与 NVIDIA BlueField -2 DPU 相比，
NVIDIA BlueField -3 DPU 的内存带宽和计算能力提高了四倍
BlueField-3 DPU 由三个主要模块组成：
网络：集成网络和安全硬件加速器的最新一代 NVIDIA ConnectX-7 智能网卡。
可编程计算：具有 16 个 ARM A78 v8.2 核心组成的强大集群，专为控制平面应用程序提供优化的、完全一致的低延迟网络互连技术。数据平面可编程性通过加速管道线（pipeline）和新的可编程数据路径加速器（DPA）实现。数据路径加速器是一颗由 16 个超线程核心组成的 I/O 和数据包处理器，专为设备仿真、拥塞控制、自定义协议等 IO 密集型、低计算任务而构建。
内存：双 64 位 DDR5-5600 内存接口（80GB 带宽）和集成的 32 通道第五代 PCIe 交换机。PCIe 接口可以分叉并用作服务器托管（端点）或自托管（根复合体），以管理 GPU 或直连 SSD 设备。
作为 “服务器前面的服务器”，BlueField-3 DPU 是唯一配备集成式 ASPEED AST2600 基板管理控制器（BMC）的 DPU 平台。BlueField BMC 是一个专用处理器，用于监控 DPU 板的物理状态，并使系统管理员能够通过独立连接来管理平台。这增强了系统的安全性、可靠性、可用性和可维护性。
DPU BMC 是一个受信任的实体，具有自己的外部信任根，以确保其固件的安全。它支持通过独立的带外管理网络调配和管理 BlueField DPU，并使用标准接口和 Redfish 协议管理 DPU 的整个生命周期。
BMC 的一些功能包括：
控制台接口访问 BlueField DPU
设置 BlueField UEFI 配置
监测 BlueField DPU 及其资源
更新和恢复 BlueField DPU 固件
重置控制（即使在 BlueField 操作系统停止时）
BlueField-3 DPU 全面产品线
NVIDIA 提供了各种 BlueField-3 DPU 平台，旨在满足各行各业和用例的独特计算、内存和性能需求。这使客户能够选择符合其特定要求的 BlueField-3 DPU 产品，同时享受先进的功能和尖端的性能。
图 2：面向不同目标市场的
NVIDIA BlueField-3 DPU 旗舰平台
目标市场和旗舰平台
BlueField-3 DPU 用于几个关键旗舰平台和目标市场，具体如下：
超大规模高性能计算（HPC）/
人工智能（AI）
高性能计算和人工智能工作负载是率先采用 400Gbps（NDR InfiniBand 和 400 GbE）网络速度的工作负载，因为高性能计算就是为了实现最高性能和巨大规模的。BlueField DPU 利用其 ARM 核心从系统主机 CPU 卸载消息传递接口（MPI）的元素，并实现了无阻塞集合通信，从而扩展了 NVIDIA 网络计算能力。这使得系统主机 CPU 能够在峰值重叠时执行计算。
B3240：拥有满足极具挑战性的超大规模高性能计算/人工智能需求的强大性能和网络能力。此 BlueField-3 DPU 平台为 NVIDIA DGX H100 等系统提供动力，使其能够承担科学研究或生成人工智能的工作负载。它使用双 400Gbps NDR 连接、32GB DDR5 内存子系统和 2.3GHz 的 ARM 核心速度。
B3140H：具有半高半长（HHHL）外形规格，使其与大多数企业服务器兼容。该设备提供单个 400Gbps 端口和 16GB DDR5 内存，同时在低功耗范围内运行。这使其成为高性能计算/人工智能环境的理想选择，在空间或电源可用性受限的环境下实现所需的可扩展性能。
云行业正在经历的快速增长要求云提供商不断创新和定制其服务产品，以满足客户需求。现代云平台使用基于虚拟机监控程序（Hypervisor）的虚拟化，以最大限度地增加在计算和数据中心层面可分配给租户的虚拟实例数量。BlueField-3 DPU 支持多达 4096 个虚拟功能（VF），使云提供商能够在云计算平台上托管比上一代多 4-8 倍的虚拟实例。
B3220：提供双 200Gbps 端口、32GB DDR5 内存子系统和 2.3GHz 的 ARM 核心速度，具有满足最具挑战性的云所需的性能和网络功能。因此，超大规模 Oracle 云基础设施（OCI）已在其网络堆栈中添加了 BlueField-3 DPU，旨在提供最先进、可持续的云基础设施，并提供卓越的性能。B3220 平台还为 NVIDIA OVX 3.0 系统助力，实现更高的性能、零信任安全，并在云中无限扩展工业元宇宙应用程序。
B3210：100Gbps 速率的 B3210 非常适合满足领先企业数据中心的需求。B3210 是运行企业工作负载平台 VMware vSphere 的目标 DPU，为成千上万的公司提高性能、效率和安全性。
储存
B3220SH：B3220SH 自托管平台对集成 NVMe-oF、NVMe/TCP 或静态数据加速器的 NVMe 存储系统进行了优化。B3220SH 可通过 32 通道的第五代 PCIe 接口托管多达 16 个 SSD。
业界领先的网络性能
与上一代产品相比，BlueField-3 DPU 具有显著的性能提升，使其成为需要高性能网络的数据密集型人工智能工作负载的理想解决方案。图 3 显示了基准测试结果，证明了BlueField-3 DPU 领先的网络性能。
图 3 ：NVIDIA BlueField-3 DPU
和 BlueField-2 DPU 的测试结果比较
使用 NVIDIA BlueField-3 DPU
为您的应用程序助力
在云主导企业 IT 的时代，生成式 AI、数据科学和元宇宙应用程序等现代工作负载正在蓬勃发展。为了满足对人工智能飞速发展的需求，云构建商开始采用 NVIDIA 加速计算（主要是 GPU 和 DPU）。
NVIDIA BlueField-3 DPU 由 NVIDIA DOCA 软件提供助力，将传统的计算环境转变为高效、高性能、安全且可持续的数据中心，从而实现下一波应用程序的交付。
