NVIDIA AR SDK现已公测,将AI引入实时直播
2020-04-27 19:02
热门OBS插件StreamFX首次亮相
NVIDIA AR SDK为实时直播、视频会议和游戏直播提供了创造性的全新选择。通过SDK,开发人员可以检测到人脸或面部地标,并可通过普通网络摄像头获取3D人脸网格。
NVIDIA AR SDK现已开放公测,并支持多项用例:
- 追踪摄像头中的人脸,并识别图像中一个或多个对象,
- 将资源覆盖到人物上,从而给人物换装或增加特效,
- 通过面部和头部运动控制动画角色或游戏角色。
NVIDIA AR SDK借助NVIDIA RTX GPU上的Tensor Core,可通过AI网络实现快速且高质量的追踪性能。该网络可以提供准确的人脸追踪;对面部轮廓、嘴唇、眼睛、眉毛和鼻子的三自由度面部地标追踪;以及六自由度的先进人脸网格(人脸和头部姿势的3D重构)。
StreamFX是一个应用于OBS直播软件的热门插件,其最新发布的版本可借助SDK来创建智能摄像头。该摄像头会自动对用户进行裁剪和放大,并在用户移动时将其置于画面中央。
StreamFX开发者Michael Fabian ‘Xaymar’ Dirks表示:“StreamFX中的全新人脸追踪(Face Tracking)滤镜需要复杂的数学和机器学习,这原本需要在一系列的机器上运行数月甚至数年。如今,借助NVIDIA AR SDK即可在短时间内完成操作,并且可在任何NVIDIA RTX硬件上运行。RTX硬件因其内置的NVENC H.264编码器也变得愈发常用。这就大大缩短必要的开发时间,从数年缩短到两周,而且也没有额外的成本。”