论文部分内容阅读
机器学习是人工智能发展到一定阶段的必然产物,机器学习方法先后涌现出了三大分支,包括连接主义,符号主义以及统计学习。连接主义为模拟人脑学习的一种机器学习方法,于二十世纪五十年代中后期出现。反向传播算法的提出,使连接主义方法兴盛于一时,但于二十世纪九十年代中后期没落。其原因在于,随着神经网络变得复杂,网络层数扩大,出现了梯度消弭,并难以收敛,获得的结果在很大程度上跟初始化参数有关。深度学习方法就是针对这一问题而提出,并获得广泛研究与应用,因此研究神经网络的初始化有着重要的理论及应用意义。卷积神经网络于诸多深度学习算法中,获得了较大的成功。卷积神经网络是专门针对图像处理提出的,而后也被用于其他领域,如文本处理。卷积,池化与权值共享是卷积神经网络的核心。自动编码器也属于一种深度学习方法,是一种三层的神经网络,分输入层,编码层,解码层,一般用预训练或构件较复杂的深度网络。虽然卷积神经网络取得了很大的成功,但当其网络结构逐渐变得复杂后,也存在梯度消失收敛不佳,训练时间长的问题。针对卷积神经网络的这些缺陷,本文把自动编码器与卷积神经网络结合起来,以期解决卷积神经网络梯度消失,训练时间长等问题,以期将卷积神经网络用于图像识别时,用更少的时间得到更好的结果。本文提出一种用自动编码器初始化卷积神经网络卷积层及全连接层参数的方法,并在此基础上给自动编码器加入一种快速稀疏控制方法,以期得到较好结果。在Minist手写数字数据集,MIT人脸数据集,Oxford 17数据集上,实验结果表明:(1)本文的初始化方案,和随机初始化算法相比,能取得更好的结果,能给卷积神经网络带来更好的时效性,可以在一定程度上解决梯度消失,训练时间长,收敛困难等问题。(2)在Oxford 17数据上,实验结果有显著的提高,表明本文的初始化方案在较复杂的数据上,对卷积神经网络有更好的性能提升。(3)进一步实验发现,给自动编码器加入稀疏控制可以降低图像识别的错误率,即验证了本文所提稀疏控制方法的有效性。(4)本文的初始化方案,在较复杂的卷积神经网络上的性能提升好于简单卷积神经网络,即表明了本文针对卷积神经网络设计的初始化方案,在复杂网络上有更好的时效性提升。