网络矩阵是现代化数据中心性能的关键。这对数据中心的交换机提出了很多要求，而其中最基本的要求，是为所有客户提供等量的带宽，以便均匀地共享资源。如果没有公平的网络，所有应用都会因吞吐量恶化、延迟、分布式应用缓慢等原因，而出现性能不可预测的情况。

为了回答交换机是否重要这个问题，Tolly Group 对 NVIDIA Spectrum-3 12.8Tbps 交换机的云、AI 和存储应用性能进行了基准测试，并将结果与典型的（商品级）12.8Tbps 数据中心交换机的性能进行了同类比较。

Tolly Group 是一家第三方独立 IT 行业实验室，30 多年来，一直从事对 IT 产品的性能测试和实际评估。Tolly Group 的定位是提供证据证明产品达到，或超越营销主张，并且不产生与 Tolly Group 公平测试宪章相冲突的报告。这一性能证明可以让客户知道自己是否可以放心地进行部署。

每个交换机都有一个缓冲区以防止丢包。每当送入交换机的流量超过可以送出交换机的流量时，缓冲区就会通过吸收数据包突发，来保护应用性能。这有时被称为 incast 流量模式。AI 和 Spark 等分布式应用因其性质而会受到 incast 流量模式的困扰。

两种交换机在其数据表中显示二者缓冲区大小相同。但 Tolly Group 发现，NVIDIA Spectrum-3 能够吸收的数据包是典型数据中心交换机的 4 - 8 倍，因此需要 8 台商品级交换机才能提供相当于 Spectrum-3 交换机的数据包吸收能力。

图1 NVIDIA Spectrum-3 和商品级交换机对比

最大吸收能力固然重要，但光考虑这一点还不够。交换机必须均匀吸收来自所有发送方的微突发流量，一个节点的延缓就会使整个集群变慢。

Tolly Group 发现，Spectrum-3 在所有情况下都能均匀吸收来自所有发送方的微突发流量，而商品级交换机则会使多个节点变慢，导致计算资源未得到充分利用。

公有云和私有云环境中会出现“吵闹的邻居”问题，即当多个租户使用一个共享资源，如 CPU 周期或网络带宽时，出现了一个租户占用了这些资源，这个租户被称为“吵闹的邻居”。

“吵闹的邻居”问题可能因交换机租户之间的隔离能力不足，使得一个租户的使用而降低另一个租户的体验。数据中心交换机必须保护租户不受其他租户活动的影响，既要防止恶意攻击，也要防止“吵闹的邻居”的影响。

Tolly Group 发现，Spectrum-3 交换机完全保护了每个租户。而其他的交换机却未能保护租户，因为“吵闹的邻居”的流量模式，使一些租户的成为受害者，严重匮乏带宽。

在扩展多租户环境时，Spectrum-3 同样保护了每个租户。但在这种情况下，“吵闹的邻居”问题规模远大于商品级交换机，扩展到交换机端口总数的一半。换言之，多达 70 个端口可能成为受害者并出现带宽匮乏。

如果一个交换机不能保护租户免受“吵闹的邻居”的影响，该交换机就不符合云架构交换机的基本要求。

图2 “吵闹的邻居”隔离

换句话说：使用 Spectrum-3，“吵闹的邻居”流量模式就不会产生影响。而如果使用商品级交换机，受害租户就会出现带宽匮乏。

如今，数据中心的大多数存储流量都在以太网上运行。具体而言，存储通常使用 9KB 的巨帧。因此，这种数据包的大小变得比以往任何时候都重要，现在大多数交换机都支持 9KB 默认数据包大小。

但典型数据中心交换机仅仅支持 9KB 数据包，这并不意味着它们为存储应用进行了优化。为了测量和比较每个交换机的存储性能水平，Tolly Group 使用 IXIA 的标准网络测试工具来测量 9KB 数据包。

Tolly Group 发现，Spectrum-3 在所有情况下都能为所有存储节点提供可预测和公平的性能。商品级交换机在使用 9KB 数据包时，显示出不公平的流量共享，迫使一个存储节点的运行速度比其他存储节点慢 17 倍。这些不可预测的结果严重影响了存储性能。

这会对现实世界产生影响。比如本来计划并预计运行一个存储备份的时间为 2 小时，但最终用了 34 小时才完成。

大多数数据中心运行多种不同的应用，每个应用数据包大小不尽相同。即使是单个应用也会使用各种不同大小的数据包。再加上控制流量模式，最终，网络上可能会出现更多不同大小的数据包。

Tolly Group 发现，无论数据包大小如何，Spectrum-3 始终能够实现公平性。而商品级交换机上，使用较小数据包的应用总会陷入带宽匮乏。更糟糕的是，随着数据包大小差距的增加，小数据包的情况变得越发糟糕。

图3 因帧的大小而产生的悬殊性能

在商品级交换机中，混合数据包大小所带来的带宽匮乏会对云、存储和分布式应用产生不利的影响。

一言以蔽之，因为架构。

Spectrum 交换机有一个现代的、完全共享的缓冲区架构，以及灵活的流水线架构，该架构专为优化数据中心应用性能和安全而设计。进一步了解评估结果，请下载新的 Tolly Group 性能评估报告。该报告解释了 Spectrum 交换机和商品级交换机的架构及其优势与劣势。

架构是一个真正的零和游戏。但与其他许多厂商不同，NVIDIA 同时开发了 ASIC 和交换机，使用户可以兼得“鱼与熊掌”，并且其出色的结果也得到了 Tolly Group 验证的。