有些GAN会选择在Generator网络的前几层用Instance Normalization来代替Batch Normalization,有paper提到前者可以有效避免不同训练数据直接的对比度差异,请问两者之间如何取舍?
NVIDIA 研究院首席研究科学家刘洺堉:
基本上Instance Normalization跟Batch Normalization他们表现差不多,在某些情况下InstanceNorm比较好,有些情况下BatchNorm比较好,在GaoGAN这篇论文里面也测试过把BatchNorm换成InstanceNorm,一样可以把在Instance Normalization有γ跟β,我们可以做spatial normalization。在GaoGAN的测试数据集上面里BatchNorm比较好,那InstanceNorm它还有一个好处就是可以做一些style transport task,所以在某些style transport里InstanceNorm用的比较多。