论文部分内容阅读
随着人工神经网络与认知科学的迅速发展,深层神经网络和视觉数据的研究也日益加深。深度神经网络起初的兴起也是源于大脑的视觉加工模式;我们的大脑通过多层神经元将信息逐层提取为更抽象的信息从而建立相应模型。视觉数据被人们认为是视觉信息加工研究中的重要信息;视觉数据的识别方法主要采用人工特征和机器学习结合的识别方法,如基于浅层神经网络和支持向量机的特征识别等。在这种方法中,主要依靠先验知识,人工设计特征,机器学习方法只负责特征的分类或者识别,因此特征设计的好坏直接影响到整个系统的性能。基于深度学习在学习特征表征方面的优势,本文对深度学习方法在视觉数据分类中的应用展开了研究。 本文整理了国内外关于视觉行为的研究,图像识别研究和深度学习相关研究背景,本文开展了深度学习方法在视觉数据分类中的应用研究。主要贡献包括: 1)我们构造了两层去噪自编码器和一层逻辑回归的多层神经网络用在视觉搜索和视觉浏览两种眼动数据的分类中;去噪自编码器用于无监督特征提取,逻辑回归用于有监督学习输出类别信息,并且和浅层模型比如支持向量机和逻辑回归进行对比;我们进一步应用adaboost迭代算法对不同的模型进行加权平均,进一步改善了深层网络在测试集上的分类性能。 2)我们介绍了深度神经网络的几种正则化方法。随机dropout方法通过随机去除隐含层单元的作用有效的减少了深度神经网络的过拟合,然而这种方法是随机的对待每个单元,会引起输出信息的丢失。我们基于局部权值共享理论提出一种改进dropout方法,该方法是在局部范围内屏蔽隐含层节点的作用,从而有效的减少了信息的损失。 3)我们将dropconnect网络应用在全连接层的输入,stochastic pooling应用在子采样层,maxout网络和我们提出的dropout方法应用在全连接层的输出。将我们提出的整体的改进方案应用在手写字符数据集、人体姿态数据集和场景图像数据集上;在迭代次数较少的情况下,我们提出的改进方案在测试集上的分类误差较小,提高了在测试集上的泛化性,也就是提高了测试集的分类正确率。