GTC20 | NVIDIA Broadcast Engine为开发人员提供实时视频AI工具
2020-10-15 19:02
#人工智能 #深度学习 #GTC20 分享到微信 分享到微博
今年,流媒体在全球迅速扩张:Twitch的流媒体用户数量和收视率分别增长了89%和56%。与此同时,越来越多的员工在家中办公并通过视频会议进行协作。对于那些主持视频会议的人而言,家中的噪音以及杂乱的房间可能会为其带来不便,甚至分散与会者的注意力。幸运的是,AI可以助其一臂之力。
NVIDIA Broadcast Engine
不久前,我们发布了NVIDIA Broadcast应用程序。这是一个可以为终端用户提供降噪、虚拟背景以及网络摄像头自动构图功能的终端用户应用程序。现在,我们发布了支持NVIDIA Broadcast Engine的SDK,以便直播、视频会议、语音聊天和视频编辑开发人员将这些技术集成到自己的应用中。
NVIDIA Broadcast Engine利用NVIDIA RTX GPU及其专用的Tensor Core核心,通过一组由AI提供支持的SDK来完善广播和视频会议功能:
Audio Effects SDK使开发人员能够将基于AI的降噪技术应用于任何音频馈送,同时保证扬声器语音的质量。
Video Effects SDK将AI效果应用于视频。Video Super Resolution是SDK中首个过滤器,其效果是借助AI避免视频压缩损坏并提升其分辩率来实时提高(直播或录制)视频的质量。
NVIDIA AR SDK正在进行新功能优化,并将其可追踪的人脸点位数量增加一倍,达到126个。这使开发人员可以追踪到更多细节特征,实现身临其境的效果。
Video Codecs SDK最近更新了10.0版,包含一组经过更新和优化的编码配置文件以及对Optical Flow 2.0的访问等。
XSplit、NDI、Notch和Xaymar
集成NVIDIA Broadcast Engine
XSplit已将Audio Effects SDK集成到流行的实时串流客户端XSplit Broadcaster中,使用户能够对每个音频源进行降噪。
Vizrt Group的子公司NDI已将Video Codec SDK集成到流行解决方案NDI中。NDI可通过本地网络在个人计算机之间传输视频,因此不再需要采集卡。NDI现在为截屏和编码提供NVIDIA GPU加速,实现更高的性能和质量,其截屏分辩率高达4K120。
为实现高级实时效果的动画化与创建,Notch正在借助AR SDK实现高级人脸追踪。与过往基于CPU的解决方案相比,这大大减少了处理时间,同时提高了追踪的质量和稳定性。
Xaymar创建了用于OBS Studio的流行插件StreamFX。该公司已经将NVIDIA的降噪功能移植到VST3过滤器 —— VoiceFX中,使编辑者能够将其作为Adobe Premiere Pro和Adobe Audition等VST3兼容应用中的过滤器载入。