论文部分内容阅读
深度神经网络虽然在许多模式识别任务(如大规模图像识别)中取得了巨大成功,但仍然有很多问题亟待解决。一方面,研究人员发现深度神经网络虽然在图像分类等任务中性能显著,但依然会犯一些人类不会犯的错误。另一方面,研究人员也仍然不清楚深度神经网络是如何从大规模数据中学习到有效的特征表示。深度神经网络的缺陷和它的“黑盒子”特性促进了深度可视化技术的发展。深度可视化技术旨在通过以生成图像的方式来可视化深度神经网络中的单个神经元、特征映射或者卷积层等所学习到的特征表示,帮助理解神经网络是如何从数据中学习特征提取,帮助分析提取到的特征有什么优缺点,从而帮助设计更好的网络结构来提升网络的优点、避免缺点。深度可视化技术已经成为了深度学习中一个学术研究热点,但仍然处于探索阶段。本文的主要研究对象是深度神经网络中数以千计的卷积滤波器。深度神经网络中不同的滤波器会从输入图像中提取不同特征表示。已有的研究表明低层的卷积核提取了图像的低级语义特性(如边缘、角点),高层的卷积滤波器提取了图像的高层语义特性(如图像类别)。但是,由于深度神经网络会以逐层复合的方式从输入数据中提取特征,我们仍然无法像Sobel算子提取的图像边缘结果图一样直观地观察到深度神经网络中的卷积滤波器从输入图像中提取到的特征表示。本文提出特征映射可视化方法来可视化深度神经网络中的卷积滤波器从输入图像中提取到的特征表示。特征映射可视化会强化感兴趣的卷积滤波器所对应的特征映射,并抑制同层其他滤波器所对应的特征映射,得到调制码之后再通过编码反转方法来生成新图像,使得新图像在该层的滤波响应与调制码相同。生成的新图像与感兴趣的滤波器具有一一映射关系,能够反映出该滤波器从输入图像中提取到的特征表示。通过特征映射可视化研究我们发现,深度神经网络中的每一个卷积滤波器都从输入图像中提取到一种特殊的纹理基元图像。低层的滤波器提取的纹理基元比较简单,颜色单一;高层的滤波器提取的纹理基元比较复杂,颜色丰富。基于特征映射可视化的结果,本文还提出了图像的纹理模型,并应用于图像风格转移和图像纹理分类任务。实验结果表明,本文提出的纹理特征在图像风格转移和图像纹理识别任务中均表现优异。基于特征映射可视化结果而提出的图像纹理模型的成功应用也反过来证明了深度可视化研究的重要性和意义。