NVIDIA GPU助力飞搜科技加速图片超分辨率重建
2019-08-13 10:16
分享到微信
分享到微博
北京飞搜科技有限公司（Faceall）Xlab实验室在计算机视觉领域有着长期的技术积累和多项世界领先的研究成果，尤其是在人脸识别，目标追踪，目标检测等领域拥有多项成果，在计算机视觉研究领域处于领先地位。
近年来，随着神经网络和深度学习的快速发展，使得人工智能领域发生了革命性的变化，在人机交互，文本分析，机器视觉等领域拥有广阔的市场和发展前景。Xlab实验室针对室内场所低质量监控图片进行图片清晰度提高，图片分辨率提高等问题，基于深度学习技术，利用Tesla P100 GPU，提供了远超传统超分辨率方法的结果，实现了从视频监控图像中进行低质量图片快速重建，提高了图片尺寸和分辨率。
如何兼得速度与高分辨率？
成为飞搜科技的新挑战
图像超分辨率领域在早期用传统方法，仅仅能从图像表层特征进行推测，从而扩大图片尺寸和分辨率，在学术界和评测上一般用PSNR（Peak Singnal-to-Noise Ratil 峰值信噪比，此值越大越好）。传统方法在PSNR值的提高上效果显著，但真正重建之后的图片，跟人眼日常所见及预期恢复的图像还有很大差别，会让人从感官上觉得“不像”。
在上述基础上，相关领域研究人员尝试使用神经网络来进行图像超分辨率重建，此举再次提升了PSNR的结果，但是其重建速度慢，而且对复杂场景，或者存在多层隐藏特征的图片，重建之后仍然会有跟原本物体不一样的感觉。
与此同时，通过监控来发现异样是一个非常耗费人力的工作，而且在发现异常之后，想要通过放大图片，对异常部分想要进行更多的了解和分析也会耗费更多精力，利用过去的方法不仅不会提高工作效率，反倒会由于重建结果不好而耽误时间。
NVIDIA GPU为
加速图片超分辨率重建指明方向
现在，随着深度学习以及GPU的大规模应用，在超分辨率这个问题上能进行更大规模的训练，得到的深度学习模型不仅仅有一个更高的PSNR结果，同时在重建之后的人眼感官效果上也有不错的表现，能够贴近现实生活的物体。
目前使用GPU来加速图片超分辨率重建已经成为业界内逐渐成熟的技术方案。对监控视频中不清楚，待提高分辨率的图片进行提高分辨率的流程如图2所示。
图 1 监控室接收多个摄像头的多个信息，对发现问题及时反馈，并获得更多有效信息，需要付出很多的人力资源，并且对获取的信息进行处理也不一定能够及时且有效。
图 2 针对监控视频进行图片超分辨率重建流程
首先由监控人员发现视频中的问题，然后针对视频序列截帧得到的图片，选择出需要高清图片的这一帧，之后将此图片传入深度学习模型，由深度学习模型在Tesla P100 GPU上进行特征提取，根据提取的特征再进行大尺寸高分辨率图像重建，会得到高分辨率图片，最后再由人工观察高清图片获取所需要的信息。
由于深度学习中的卷积神经网络CNN具有良好的特征提取特性，所以飞搜科技尝试在图像超分辨率中应用CNN来进行特征提取，然后利用转置卷积和随机通道等方法在放大图像尺寸。首先将待进行放大的图片尺寸统一，然后将此图片输入CNN模型，在模型的最后使用随机通道排序方法将图片尺寸扩大。正是由于CNN良好的特征提取能力，使得图片重建后具有良好的视觉感官效果和PSNR值。
图 3 CNN进行超分示意图，输入一个尺寸为fxf大小的低质量图片，然后进行n层输出大小仍然为fxf的卷积运算，同时固定卷积核大小，最后一个卷积层将输出即将进行随机通道排序的特征图。
图 4 进行随机通道重排之后放大图片的示意图，每一个特征图对应一个通道，按照通道的前后顺序以及卷积核的大小来对每个特征值在输出图片上的位置进行重新排列（上图中卷积核大小为2x2）
在2018年召开的计算机视觉顶级会议 CVPR（Computer Vision and Pattern Recognition） workshop NTIRE（New Trends in Image Restoration and Enhancement）举办的的超分辨率竞赛中，Xlab研究团队利用的算法在将图片放大8倍（x8）这个问题上，以PSNR值的高低来排名，位列第五。
图 5 2018 NTIRE的超分辨率竞赛中位列第五名
NVIDIA GPU助力实现
超分辨率模型训练速度大幅提升
随着深度学习的快速发展以及其在超分辨率领域的应用，以及NVIDIA Tesla P100系列GPU的大力支持，图片超分辨率重建这个任务用更多的数据训练更大的模型也成为了现实，不仅训练速度快，而且训练完成之后的模型在运行速度上也会比CPU快几倍到几十倍，在评测指标（PSNR）上也得到了很大的提高，也更贴近正常生活中的物体线条。
近年来，随着神经网络和深度学习的快速发展，使得人工智能领域发生了革命性的变化，在人机交互，文本分析，机器视觉等领域拥有广阔的市场和发展前景。Xlab实验室针对室内场所低质量监控图片进行图片清晰度提高，图片分辨率提高等问题，基于深度学习技术，利用Tesla P100 GPU，提供了远超传统超分辨率方法的结果，实现了从视频监控图像中进行低质量图片快速重建，提高了图片尺寸和分辨率。
如何兼得速度与高分辨率？
成为飞搜科技的新挑战
图像超分辨率领域在早期用传统方法，仅仅能从图像表层特征进行推测，从而扩大图片尺寸和分辨率，在学术界和评测上一般用PSNR（Peak Singnal-to-Noise Ratil 峰值信噪比，此值越大越好）。传统方法在PSNR值的提高上效果显著，但真正重建之后的图片，跟人眼日常所见及预期恢复的图像还有很大差别，会让人从感官上觉得“不像”。
在上述基础上，相关领域研究人员尝试使用神经网络来进行图像超分辨率重建，此举再次提升了PSNR的结果，但是其重建速度慢，而且对复杂场景，或者存在多层隐藏特征的图片，重建之后仍然会有跟原本物体不一样的感觉。
与此同时，通过监控来发现异样是一个非常耗费人力的工作，而且在发现异常之后，想要通过放大图片，对异常部分想要进行更多的了解和分析也会耗费更多精力，利用过去的方法不仅不会提高工作效率，反倒会由于重建结果不好而耽误时间。
NVIDIA GPU为
加速图片超分辨率重建指明方向
现在，随着深度学习以及GPU的大规模应用，在超分辨率这个问题上能进行更大规模的训练，得到的深度学习模型不仅仅有一个更高的PSNR结果，同时在重建之后的人眼感官效果上也有不错的表现，能够贴近现实生活的物体。
目前使用GPU来加速图片超分辨率重建已经成为业界内逐渐成熟的技术方案。对监控视频中不清楚，待提高分辨率的图片进行提高分辨率的流程如图2所示。
图 1 监控室接收多个摄像头的多个信息，对发现问题及时反馈，并获得更多有效信息，需要付出很多的人力资源，并且对获取的信息进行处理也不一定能够及时且有效。
图 2 针对监控视频进行图片超分辨率重建流程
首先由监控人员发现视频中的问题，然后针对视频序列截帧得到的图片，选择出需要高清图片的这一帧，之后将此图片传入深度学习模型，由深度学习模型在Tesla P100 GPU上进行特征提取，根据提取的特征再进行大尺寸高分辨率图像重建，会得到高分辨率图片，最后再由人工观察高清图片获取所需要的信息。
由于深度学习中的卷积神经网络CNN具有良好的特征提取特性，所以飞搜科技尝试在图像超分辨率中应用CNN来进行特征提取，然后利用转置卷积和随机通道等方法在放大图像尺寸。首先将待进行放大的图片尺寸统一，然后将此图片输入CNN模型，在模型的最后使用随机通道排序方法将图片尺寸扩大。正是由于CNN良好的特征提取能力，使得图片重建后具有良好的视觉感官效果和PSNR值。
图 3 CNN进行超分示意图，输入一个尺寸为fxf大小的低质量图片，然后进行n层输出大小仍然为fxf的卷积运算，同时固定卷积核大小，最后一个卷积层将输出即将进行随机通道排序的特征图。
图 4 进行随机通道重排之后放大图片的示意图，每一个特征图对应一个通道，按照通道的前后顺序以及卷积核的大小来对每个特征值在输出图片上的位置进行重新排列（上图中卷积核大小为2x2）
在2018年召开的计算机视觉顶级会议 CVPR（Computer Vision and Pattern Recognition） workshop NTIRE（New Trends in Image Restoration and Enhancement）举办的的超分辨率竞赛中，Xlab研究团队利用的算法在将图片放大8倍（x8）这个问题上，以PSNR值的高低来排名，位列第五。
图 5 2018 NTIRE的超分辨率竞赛中位列第五名
NVIDIA GPU助力实现
超分辨率模型训练速度大幅提升
随着深度学习的快速发展以及其在超分辨率领域的应用，以及NVIDIA Tesla P100系列GPU的大力支持，图片超分辨率重建这个任务用更多的数据训练更大的模型也成为了现实，不仅训练速度快，而且训练完成之后的模型在运行速度上也会比CPU快几倍到几十倍，在评测指标（PSNR）上也得到了很大的提高，也更贴近正常生活中的物体线条。
