软银（SoftBank）是一家致力于推动信息革命的全球技术企业。该公司的业务涉及宽带、固网电信、电子商务、信息技术、金融、媒体和营销。为了改善用户的通信体验、克服5G容量和覆盖范围问题，软银使用了具有先进AI功能的NVIDIA Maxine GPU加速SDK来构建虚拟协作和内容创作应用。

在这篇文章中，您将了解软银如何使用Maxine SuperResolution和硬件加速编解码操作来减少必须上传到多接入边缘计算（MEC）服务器的数据量。除了解决有限带宽所带来的挑战之外，软件还凭借Maxine的去噪和虚拟背景等功能为其用户提供最佳视频会议解决方案。

（MEC服务器所在管线概览）

5G的超高速、超低延迟和多个同时连接等特点使远程医疗和智能工厂等新用例成为可能，而这些用例无法通过以前的无线连接实现。MEC是实现低延迟、高吞吐量用例的关键。MEC通过部署区域性MEC服务器并只向云发送最小必要数据，尽可能提升边缘的处理能力，从而减少响应延迟。MEC服务器通常使用GPU的大规模并行计算力来高速处理大量数据。

目前的5G网络以一种被称为非独立组网（NSA）的配置运行。这种配置结合了4G LTE网络和5G基站，其中一些5G功能（如网络切片）无法使用。5G 独立组网（SA）配置同时拥有一个5G核心网和一个基站。凭借对5G的端到端支持，5G独立组网能够加快服务速度、降低成本、提高服务质量并成为一个更好的服务部署平台。

当5G独立组网配置进入市场时，整个5G网络才算完成。换言之，5G的发展分为两步：5G非独立组网和5G独立组网。每个步骤都需要投入资金。

另一方面，包括软银在内的一些电信运营商已经开始在4G LTE和5G NR中使用4G LTE低频段频率。理论上，容量和覆盖范围是无线通信中需要权衡的因素。为了确保5G独立组网配置具有高质量的广域覆盖，软银使用MEC来尽可能有效地减少服务延迟。

（不同 5G频率的容量和覆盖范围）

除此之外还有一些技术挑战。移动网络的设计通常能够适应比上行链路更高的下行速度。这种设计理念适用于大部分流量是下行链路的一般应用，如智能手机上的视频传输。但一些关键应用需要强大的上行链路连接，其中就包括视频会议。视频会议用户需要高上行链路带宽来传输高清视频和音频。

目前的5G上行链路容量不够，并且需要载波聚合和MIMO天线来提供更多的上行链路分配。随着越来越多的设备连接到5G，节省带宽，尤其是节省上行链路的带宽，是全球所有电信运营商所面临的共同挑战。

视频会议等上行链路带宽密集型应用在上行链路带宽较低（例如500Kbps）的情况下，可以获得与带宽充足情况下（100Mbps）相同的服务质量，因此可以同时连接更多的设备并提供高质量的服务。

NVIDIA Maxine是一个GPU加速SDK平台，它使视频会议服务开发者能够在云端建立和部署使用先进模型的AI功能。Maxine带有使用NVIDIA研究团队最新创新成果的API，例如伪影消除、身体姿势估计、超高清和去噪等。Maxine还使用NVIDIA Riva等产品提供隐藏字幕和访问虚拟助手等功能。这些功能在NVIDIA GPU上得到全面加速，使实时视频传输应用能够在云端运行。

（Maxine超高清解决方案）

Maxine应用使服务提供商能够为台式电脑、平板电脑和手机等任何设备上的用户提供相同的功能。此类应用的关键是所有的处理都发生在云端，因此在任何设备上运行的应用只需要消耗最少的资源。使用Maxine构建的应用能够轻松作为微服务部署，并在Kubernetes环境中扩展到数十万个串流。

这是为了卸载视频会议系统中涉及的计算密集型处理并减少必须上传到MEC服务器的数据量。可以通过超高清等视频效果与硬件加速编码-解码操作组合来实现这一点。Maxine还增加了去噪、虚拟背景、房间回声消除等提高生活品质的功能。

这对终端用户意味着什么？最基本的一点是，使用低带宽连接的终端用户在具有各种背景噪声的现场工作时，可以与清晰的音频和高清视频连接。例如在一座位于偏远地区的嘈杂生产车间中，工厂经理通过180p传输连接仿佛置身于具有720p传输连接的安静会议室中。计算资源卸载也将转化为更长的电池寿命和更多的自由内存，使最终用户能够在资源受限的设备（如手机和笔记本电脑）上进行多任务处理。

上述功能包含在以下SDK中：

视频效果SDK

音频效果SDK

增强现实SDK

此外，NVIDIA Video Codec SDK提供支持视频会议相关基础设施的硬件加速编码和解码。

（Maxine AI面部编解码器概览）

通常情况下，如果想在手机上使用视频会议解决方案，则必须首先安装一个客户端应用。在软银的案例中，Zoom客户端安装在运营商网络的MEC服务器上，而不是手机上。手机的视频和麦克风输出通过5G网络输入到MEC的Zoom客户端。MEC将智能手机的麦克风和摄像头识别为虚拟麦克风和摄像头并将它们作为Zoom客户端的输入。

（软银和Maxine POC的概览图）

以下是用于实现软银概念验证的硬件和软件规格：

硬件

- GPU：Quadro RTX6000（驱动器版本：456.43）

       - CPU: Intel Xeon Gold 6244

软件

- Windows Server 2019

- WebRTC Native Client Momo

- CUDA 11.1

- NVIDIA Maxine Video Effects SDK（3/25/2021 – VFX – 预览版）

- NVIDIA Maxine Audio Effects SDK EA

该工作使用了软银的MEC服务器（Windows）“WebRTC Client Momo”（一个经过修改、基于C++的开源WebRTC客户端）以及一个使用视频效果 SDK和音频效果SDK API的应用。

音频效果SDK中的 NvAFX_RUN API（NVAFX_EFFECT_DENOISER）和视频效果SDK中的NvVFX_RUN API（NVVFX_FX_SUPER_RES）用于执行视频超高清和去噪功能。

（视频效果SDK API示例代码）

（音频效果SDK API示例代码）

为了节省上行带宽，使用WebRTC协议从5G用户设备发送的视频串流以低码率（在本概念验证中为H.264（CBR）180p）上传到MEC。MEC以低码率接收降级的音频和视频，并使用Maxine SDK提高质量。对于视频，MEC服务器使用SuperResolution 功能，将用户设备发送的180p视频调整为720p。SuperResolution可以减少噪音并恢复高频率部分，从而实现高质量的视频。

下图所示的是使用SuperResolution的结果。

（原始块状图像（左半部）与使用Maxine AI功能后的图像（右半部）对比）

在上图中，左边是使用SuperResolution之前的原始数据，右边是放大后的图像。面部细节中的块状伪影被更多的像素所取代，因此产生了高质量的图像。您可以使用视频效果SDK提供的示例应用来复制这些结果。完整演示视频：

https://developer.download.nvidia.cn/video/devblog/Maxine-0401L-off-R-on04.mp4

与Super Resolution的结果一样，该视频中显示了去噪后的结果。

（去噪后的输出结果视频）

该视频显示在用户边打键盘边说话的情况下测试Maxine去噪功能所产生的结果。在测试中，键盘声被选为样本，而在软银PoC的整个开发过程中，去噪功能还适用于许多其他情况。软银认为，去噪功能使在户外或车辆中等嘈杂环境中召开会议成为可能。

您可以使用音频效果SDK提供的示例应用来复制这些结果。

软银通过在其MEC服务器上部署Maxine实现了低延迟，同时还为所有终端用户提供了高质量的视频和音频体验。由于不需要额外的硬件或用户设备，软银在显著节省上行链路带宽成本的同时改进了最终用户体验。为了进一步提高视频质量，软银计划使用Maxine AI Face Codec。