DevZone | NVIDIA Optical Flow SDK
2022-09-23 09:37
分享到微信
分享到微博
Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量，这些向量对于帧到帧的强度变化具有鲁棒性，并可追踪真实的物体运动。
Turing 硬件生成的光流地图样本 --- 源素材
NVIDIA Optical Flow SDK 功能特性
视频分析
准确检测和追踪连续视频帧中的物体，同时大大降低计算复杂性要求。
实时性能
实时内插或外插视频帧，提高视频播放流畅度或降低 VR 体验延迟。
GPU 加速
已针对 Turing、Ampere 和未来代次的 NVIDIA GPU 架构进行优化。高速计算准确流向量，对 CPU 或 GPU 影响甚少。
光流引擎辅助的帧率提升转换库
最新的 Optical Flow SDK 3.1 版本引入了引擎辅助帧率提升转换（FRUC），它使用光流向量内插新帧，使视频的有效帧率翻倍。最终，视频播放的流畅度和视觉感知质量得以提升。
用于智能视频分析的物体追踪
Optical Flow SDK 2.0 引入了基于光流的物体追踪器库，以及源代码和即用型 API。在我们的实验中，经证明，基于光流的物体追踪器与一些热门算法相比，可将 GPU 利用率降低多达 80%，同时不会降低追踪的准确性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。
视频帧内插和外插
光流还可以非常有效地用于实时内插或外插视频帧。这对于提高视频播放的流畅度、生成慢动作视频或在使用 Oculus 设备进行 VR 体验时大幅减少延迟非常有用。Turing 和 Ampere GPU 中的光流功能通过将密集的流向量计算卸载到 GPU 芯片上的专用硬件引擎以加速这些用例，从而腾出 GPU 和 CPU 资源来处理其他任务。此功能位于硬件中，独立于 CUDA Core。
相关资源
开发者论坛
https://forums.developer.nvidia.com/c/gaming-and-visualization-technologies/visualization/video-processing-optical-flow/189
GitHub - OpenCV 中的 NVIDIA 光流技术
https://github.com/opencv/opencv_contrib
