拥有颜色的夜晚：研究人员用深度学习实现全彩夜视系统
2022-04-27 21:18
分享到微信
分享到微博
换言之，他们能够使用相机在人类完全看不见的环境中进行拍摄，并数字化渲染拍摄的图像。
为此，研究人员使用了对可见光和近红外光敏感的单色相机来获取面部打印图像的图像数据集。
这些图像是在覆盖标准可见红光、绿光、蓝光以及红外波长的多光谱照明下采集的。
研究人员优化了具有类 U-Net 架构的卷积神经网络，根据近红外图像来预测可见光谱图像。该神经网络是弗莱堡大学大学计算机科学系最初为生物医学图像分割所开发的专用卷积神经网络。
左边是由红、绿、蓝三色输入图像组成的可见光谱基准真相图像。右边是UNet-GAN、UNet和线性回归根据三幅红外输入图像预测重建的图像。
该系统使用 NVIDIA GPU 和 140 张人脸图像进行训练，其中 40 张用于验证，20 张用于测试。
最终，该团队成功重现了红外相机在黑暗房间中拍摄的彩色人像。换言之，他们创造了能够在全彩夜视系统。
可以肯定的是，这些系统目前还无法实现通用。它们需要经过训练后才能预测不同种类物体的颜色，比如花或人脸。
尽管如此，该研究未来可能会完全实现全彩夜视系统，就像我们在白天所能看到的一样。有朝一日，或许它使科学家也能够研究对可见光敏感的生物样本。
