随着神经网络体系结构和损失函数的深入研究,卷积神经网络模型在图像处理领域(低、高层图像处理任务)得到了越来越广泛的应用。但是在高层任务中,一味地以加深加宽神经网络的结构来提高图像处理的效果一方面受限于梯度反向传播和计算资源,另一方面参数越多的神经网络越容易发生过拟合现象,所以需要更大量的训练数据。在低层视觉处理任务中,如图像超分辨率恢复、图像填充等,高层特征不一定适合处理低层任务。网络结构的局限性使得越来越多的研究者意识到设计损失函数也是当前图像处理中最重要的环节。损失函数一方面可以包含更多的监督信息,比如在人口计数问题上,用人口密度图代替人口总数量包含了更多的监督信息。另一方面还可以指导神经网络学习出更加具有判别性的特征表示,比如在人脸识别问题中,相比于原始的softmax,利用L-softmax学习出来的不同类别特征之间的间距更大等等。感知损失函数即利用从预训练的网络中提取出的图像特征的差异代替图像本身的差异,许多工作都展示了利用感知损失函数优化神经网络能生成更高质量的图像。在本文中,我们对感知损失函数及其在图像超分辨率恢复和领域迁移方向的应用加以研究,论文的主要工作列举如下:首先,在单幅图像超分辨率恢复领域,我们提出了利用带对称跨层连接的降噪自编码器代替预训练的VGG网络,并用编码部分的输出特征构建感知损失函数。第一,降噪自编码经常用于无监督分类或者作为分类网络预训练的一种,中间层特征包含语义特征。第二,跨层连接的使用使得编码器的输出包含不同层的特征,相比于堆栈式的网络结构,跨层连接有利于使得相邻特征之间的相关度降低。第三,降噪自编码属于图像恢复任务,从中间特征恢复出来图像的效果更好,即特征中损失的细节信息相比于从分类网络提取出的特征更少。实验结果说明:我们的感知损失可以生成具有更高PSNR和SSIM值的图像,同时视觉效果更好。其次,针对提出的利用带降采样、带对称跨层连接的降噪自编码器构建的感知损失函数会导致生成的图像中产生伪影(“artifacts”)的问题,我们在利用从降噪自编码器中构建的感知损失函数优化单幅图像超分辨率的同时,增加了一个判别网络,判别网络用于识别目标图像和生成图像。图像恢复网络作为生成器旨在生成感知损失最小,同时能成功“骗过”判别器的图像。实验结果显示,将感知损失和对抗损失结合起来可以生成PSNR和SSIM更高的图像,同时视觉效果更好。最后,我们将感知损失从衡量两张图像之间的差异扩展到了用于衡量两个特征分布之间的差异,最大均值差异(MMD)中采用高斯核函数等衡量两个数据集之间的距离,高斯核函数是数据无关的。然而我们的选取的函数f(·)是一个在特征分布上预训练的分类器,将两个复杂特征分布转换为简单的多元分布,提出了KL-MMD距离。我们在领域迁移任务中,结合了匹配门函数和注意力机制,提出在源特征提取网络和目标特征提取网络之间增加注意力匹配机制。在三个无监督数字分类数据集(SVHN→MNIST,MNIST→USPS,USPS→MNIST)上达到了目前最好的分类准确率。