腾讯云携手NVIDIA 网络刷新云硬盘(CBS)性能记录
2020-11-11 19:47
2020年7月,腾讯云发布了全新一代云硬盘产品系列增强型SSD云硬盘和极速型 SSD云硬盘,为客户提供高性能的块存储解决方案。此次发布的新品,是腾讯云云硬盘(CBS, Cloud Block Storage)团队与 NVIDIA 网络的联合开发成果,基于 RDMA(Remote Direct Memory Access,远程直接内存访问)编程接口,腾讯云实现了对块存储 (Block Storage)的RoCE (RDMA Over Converged Ethernet) 优化,并在吞吐和时延上获得了巨大的性能提升。
根据腾讯云官方数据,已正式上线的增强型 SSD 云硬盘,相比上一代云硬盘,性价比提升了50%,吞吐性能提升了35%,时延降低了50%。
极速型 SSD 云硬盘 IOPS 最高可达110万次,单盘最大吞吐量4GB/s,是当之无愧的性能旗舰王者。读写时延低至百微秒,确保了传统业务的无缝上云,在性能大幅提升的同时,实现了业务场景全面覆盖,包括直播,电商,在线教育等明星业务。
如此优异的性能表现,离不开 RDMA 技术。RDMA 技术是用户空间进程绕过内核直接调用 RDMA 网卡,实现和远端进程的高效快速通讯。RDMA 伴生于 InfiniBand 网络技术,由 IBTA 组织对其进行标准化定义和维护。在硬件层面,RDMA 硬件在发送和接收双方向都实现了完整的协议栈处理。发送端用户准备好数据后,会提交发送命令给网卡,RDMA 网卡收到命令后,会根据内存地址信息到内存中把需要发送的数据直接取下来,在网卡中实现数据包的分片和组装,然后发送出去。在接收端,网卡收到报文后,在网卡中按照RDMA 的协议进行报文的协议栈解析处理工作,解析完成后,网卡会跳过内核,直接把数据写入到目标进程的内存空间去。在整个数据处理过程中,RDMA 既实现了完整的协议栈处理,又实现了内存零拷贝,消除了主机中不必要的频繁数据拷贝,实现了内核旁路,在完全不消耗 CPU的情况下,实现高性能的网络通信。RoCE 是 RDMA 技术在以太网上的实现,将 RDMA 技术的优势带入了以太网市场。
RDMA 在 InfiniBand 和以太网络中的传输方式
在软件层面,用户可以通过 RDMA 提供的标准 verbs 硬件抽象层来移植自己的代码到 RDMA。由于当前基于 verbs 定义的编程接口比较底层,一些用户觉得开发难度较高,有的时候还需要深入理解 RDMA 网卡的硬件技术特点,才能实现高质量代码,充分利用 RDMA 网卡性能。这为 RDMA 技术的广泛推广带来了障碍。
为了 RDMA 技术的更加易用和通用,国际UCF(Unified Communication Framework)联盟下的 UCX 开源项目组,致力于开发一个通用的高效中间件,在verbs抽象层上定义一个标准的 API 编程接口,为用户隐藏硬件底层细节,并充分利用协同设计理念,充分挖掘硬件的卸载引擎,实现了一套高性能、可扩展、易维护的中间件函数库,并且支持 GPU、共享内存、及网络原子操作等。UCX 吸收了在世界各地超级计算中心运行积累的最佳实践经验,为各种不同大小的消息传输进行了精心的优化,实现完整的零拷贝,并且支持多种运行环境。目前支持 x86、Power 和 ARM CPU架构,支持在物理机、虚拟机、以及在容器上运行。
腾讯云块存储总监马文霜说到:“腾讯云云硬盘(CBS)是腾讯云服务的基础架构保障,网络的延迟和带宽对于分布式块存储的性能至关重要,RDMA技术的 Kernel Bypass 和 CPU Offload 可以带给块存储极低的延迟和极高的带宽,并解决了分布式块存储的扩展性问题。在 NVIDIA 网络的产品上部署的 CBS 将为腾讯云用户提供业界一流的性能,使用户充分享受 RDMA带来的技术红利。”
NVIDIA 网络软件开发副总裁Mike Dubman先生说到:“NVIDIA 网络互联解决方案为高性能计算、人工智能、云、存储和其他应用提供最高的通信效率,通过与 RDMA 技术及开源的 UCX 技术相结合,帮助客户在超大规模的云平台上显著提高计算密集型应用的性能和基础设施的效率,为他们向用户提供新的差异化的服务赋能。“
UCF(统一通信框架)联盟主席Gilad Shainer 先生说到: “我们看到 UCX 开源框架已经在在超大规模数据中心、云和高性能计算等基础设施中得到广泛使用,它在解决新兴数据中心和高性能应用的性能挑战方面极具创新。UCX 可以给业务在吞吐量和延迟方面带来显著改善,使客户拥有行业领先的应用性能。”