1、深度学习图像修复中哪些先验知识比较重要,如何将这些先验融合到网络模型中? 2、图像修复中神经网络的构建和训练有什么技巧吗?
NVIDIA资深研究科学家刘贵林:
对于这个问题,我认为很有用的先验知识是在人脸图片的编辑中。在做人脸图片编辑时,一般是把人脸图片对齐到一个标准位置,对齐之后再进行编辑,这样就有一个先验知识在里面,特定的位置有特定的眼睛、鼻子、嘴,当某个部位缺失的时候,神经网络就能够知道需要在哪个位置填补哪些东西,所以这是一个比较有用的先验知识。对于一般的自然图片,也有一些先验知识可以利用,比如处理一些纹理图片时,因为纹理图片是有很多重复结构,有时候你是可以从图片其他块里面把东西直接拿过来贴上去,所以如果你的任务是针对纹理图片的修复,最好是在神经网络结构里面去设计一个操作去从其他部分直接拿过来用会更好,拿过来其实是PatchMatch是这样,但它其实是在原始的图片上做的,可以拓展的说,在特征空间去做,把图片通过神经网络incode到特征空间,在特征空间里从非孔区域把他copy过来,这是针对纹理图片比较有用的先验知识。
我觉得最大的技巧是loss function,特别是style loss的帮助非常明显,如果没有用style loss,它出来的结果是非常模糊的,或者是他有明显的那种checkerboard的的artifact,如果我加上合适的style loss,他的图片会变得非常清晰,当然这个时候你要对style loss做一个权重的搜索,去找一个合适的权重比例,怎么去平衡你的L1 loss、Perceptual loss 和Style loss,在论文里面是通过一些人工的搜索去找到一些比较好的权重的平台。在其他的项目中也应用到这个loss function,都展现出loss function的帮助很大。