首页 > 最新资讯 > DevZone | NVIDIA Optical Flow SDK
DevZone | NVIDIA Optical Flow SDK

DevZone | NVIDIA Optical Flow SDK

2022-09-23 09:37

#人工智能 #深度学习


Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能,该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量,这些向量对于帧到帧的强度变化具有鲁棒性,并可追踪真实的物体运动。

Turing 硬件生成的光流地图样本 --- 源素材

 

NVIDIA Optical Flow SDK 功能特性

视频分析

准确检测和追踪连续视频帧中的物体,同时大大降低计算复杂性要求。

实时性能

实时内插或外插视频帧,提高视频播放流畅度或降低 VR 体验延迟。

GPU 加速

已针对 Turing、Ampere 和未来代次的 NVIDIA GPU 架构进行优化。高速计算准确流向量,对 CPU 或 GPU 影响甚少。

光流引擎辅助的帧率提升转换库

最新的 Optical Flow SDK 3.1 版本引入了引擎辅助帧率提升转换(FRUC),它使用光流向量内插新帧,使视频的有效帧率翻倍。最终,视频播放的流畅度和视觉感知质量得以提升。

用于智能视频分析的物体追踪

Optical Flow SDK 2.0 引入了基于光流的物体追踪器库,以及源代码和即用型 API。在我们的实验中,经证明,基于光流的物体追踪器与一些热门算法相比,可将 GPU 利用率降低多达 80%,同时不会降低追踪的准确性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。

视频帧内插和外插

光流还可以非常有效地用于实时内插或外插视频帧。这对于提高视频播放的流畅度、生成慢动作视频或在使用 Oculus 设备进行 VR 体验时大幅减少延迟非常有用。Turing 和 Ampere GPU 中的光流功能通过将密集的流向量计算卸载到 GPU 芯片上的专用硬件引擎以加速这些用例,从而腾出 GPU 和 CPU 资源来处理其他任务。此功能位于硬件中,独立于 CUDA Core。

相关资源

开发者论坛

https://forums.developer.nvidia.com/c/gaming-and-visualization-technologies/visualization/video-processing-optical-flow/189

GitHub - OpenCV 中的 NVIDIA 光流技术

https://github.com/opencv/opencv_contrib

 

相关新闻