首页 > 最新资讯 > NVIDIA IPFS 网络存储解决方案赋能大数据时代的数据存储业务
NVIDIA IPFS 网络存储解决方案赋能大数据时代的数据存储业务

NVIDIA IPFS 网络存储解决方案赋能大数据时代的数据存储业务

2021-11-26 15:35

#人工智能 #深度学习


随着数字化转型升级及云计算、物联网、人工智能5G 等新兴技术的迅速发展和应用部署,全球数据量正在无限制地扩展和增加。根据国际权威研究机构 IDC 预测,2018 年到 2025 年之间,全球产生的数据量将会从 33ZB 增长到 175ZB,复合增长率将达到 27%,其中,超过 80% 的增长数据为非结构化数据。

大数据时代,数据存储面临新挑战

数据存储技术已成为数字经济发展过程中不可或缺的底层基座。然而,随着非结构化数据不断增加,以服务器为中心的传统分布式存储方案在数据存储容量,成本,速度,安全,稳定,运维等方面已无法满足海量数据存储要求,已成为制约数字经济发展的一个瓶颈。

在此形式下,NVIDIA 秉持打造低时延、高吞吐、高可靠、开放型基础设施的设计理念,提出了基于IPFS 的高性能 InfiniBand SSD 池化解决方案 , 该解决方案旨在解决传统解决方案痛点,为海量数据存储业务赋能。

传统解决方案的痛点:

算力受限,使用成本高

传统解决方案算力高低依赖 CPU / GPU 与 SSD 之间的数据传输带宽,而CPU / GPU 与 SSD 之间带宽又受限于本机 SSD 的数量。在此情况下,提高 SSD 并行性虽可在一定范围内降低计算时间,但会增加集群的采购成本, 并且无法做到无限扩容。

受限于本机一体架构的制约,传统解决方案通常也无法做到CPU 计算与 GPU 计算的平衡。于此同时,SSD 作为 cache 的利用率偏低,导致使用成本偏高。

NVIDIA IPFS 网络存储解决方案:

大数据时代的数据存储新选择

IPFS ( Inter Planetary File System,“星际文件系统” ),是一种点对点(P2P)的分布式文件系统,可提供永久性和安全性存储,保证数据的隐私性,提供更快的数据读/写速度,及无限扩展能力。NVIDIA IPFS 网络存储解决方案,从 SSD 池化入手,借助 InfiniBand 网络极高的传输带宽,基于 Credit 的流控技术保证传输报文不丢包高质量传输,超低的传输时延等特性,将 SSD 从本地计算资源剥离出来,构造成共享存储资源池。

该解决方案可大幅提高 SSD 输出传输的带宽,有效提高 SSD 的使用率,从而提升了集群整体的数据封装效能,降低了整体采购成本。同时,依托 NVIDIA 的故障快照及网络管理等技术,可提高自动化、管理、监控方面的应用水平,有效降低运维压力。

 

NVIDIA IPFS 网络存储解决方案还具备以下优势:

 

超大容量,高性能弹性扩展:整体解决方案将 CPU、GPU、SSD 单元分离,实现池化部署,可提供针对 CPU、GPU 计算单元 100Gbps / 200Gbps 的网络传输带宽,为基 SSD 的全闪服务器配置400Gbps 乃至 800Gbps 的网络带宽。

打破算力配比束缚,打破性能瓶颈,提高整体性能:整体解决方案具备高度弹性及兼容性,CPU 算力平台兼容 AMD、Intel 众多计算平台;存储资源平台支持 NVMe SSD、Sata SSD、SAS SSD、HDD 等多种存储方案,GPU 算力平台全面支持 CUDA 的显卡,并可按需接入 FPGA。

复用率高,节约使用成本:相比于单机方案,整体解决方案利用 SSD 共享方式提高了 SSD 的利用率,减少 SSD 使用数量,节约至少50% 的 SSD 采购成本。

简化算力优化配置,快速实现算力资源解耦:整体解决方案以软件形式动态调整 CPU 与 GPU 算力资源的对应关系,实现 CPU 资 源与 GPU 资源完全解耦,简化计算资源优化配置过程,可快速适配各类业务场景、 大幅降低人力成本及算力切换时间周期。

不同工作模式自由切换,改造费用低,封装效率高:整体解决方案通过池化及共享方式,可实现 64GB/ 32GB 等不同封装模式的快速切换,整体改造费用低,提高封装效率及提高算力,有效降低运营成本。

降低成本,快速适配各类业务场景

相比于现有集成方案,NVIDIA IPFS 网络存储解决方案可使得整体封装性完整性提升 30%-70% 左右;于此同时,由于采用池化 SDD 方式,提升了 SSD 整体复用率,可有效降低 50% 以上的 SSD 使用成本;综合的性价比提升 20%-30%;通过场景化设计,该解决方案亦可快速适配各类业务场景需要,实现业务模型之间的无缝切换。

相关新闻