基于集成学习的去相关正则化深度神经网络

来源 :天津大学 | 被引量 : 0次 | 上传用户:wolf12066
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络在学术界和工业界的众多领域均取得了引人瞩目的成果,然而这种高性能的模型通常也伴随着模型结构的复杂化、高维参数等问题,从而使得模型在训练过程中容易出现过拟合现象。因此如何提高深度神经网络模型的泛化能力仍然成为了各类研究领域的挑战。目前用于减小过拟合的正则化方法主要包括Dropout,DropConnect和Batch Normalization等,但是这些方法都是隐式的正则化方法,并没有从隐藏层的结构性能角度去解析。由于隐藏层是神经网络中提取高维抽象特征的关键,因此,在本文中,我们采用集成学习的视角来分析神经网络的隐藏层,提出了一种新的基于集成学习思想的去相关性正则化方法。在全连接网络中,主要对隐藏层的节点进行不重叠的平均分组,将每组节点视为一个基学习器,在卷积神经网络中,我们主要将池化层中的每一个特征图视为一个基学习器。通过将神经网络的隐藏层视为若干个基学习器的集成,然后在网络模型的训练过程中减小这些基学习器之间的协方差,从而迫使模型学习更多多样化的特征,减小网络结构中存在的冗余信息,进而提高神经网络模型的泛化性能。我们分别在MNIST、CIFAR-10和CIFAR-100数据集上进行了实验,实验结果表明,本文提出的基于集成学习的去相关正则化方法相较于传统的正则化方法,可以更好的减小深度神经网络中存在的冗余信息,缓解过拟合现象,从而提高模型的泛化性能。
其他文献
随着我国经济快速发展,国家对基础设施建设越来越重视,极大地刺激了砂石的需求量,由于天然砂的短缺,机制砂被广泛的运用到建筑工程、道路桥梁、农村基建等方面,从而促进了制
光声成像(photoacoustic imaging,PAI)作为一种新型无创的生物医学影像技术,兼具了超声成像的低衰减、高穿透性和纯光学成像的无损、高对比度的优点。PAI可以呈现具有不同空
该选题是在导师的指导和本人研究相关问题的基础上,结合自身工作实际和社会热点问题而选择的。本文认为,P2P网络借贷作为金融与互联网融合的新兴产业,获得了快速而又野蛮式的增长,在缓解中小企业和普通消费者资金困难、提高投资者经济收益方面,发挥了重要作用。然而,在互联网金融尚未建立严格监管措施的前提下,P2P网络借贷极易逾越刑法底线,其违规融资易触发金融犯罪、业务违法扩张易构成非法经营犯罪、资金监管缺乏易
双目立体视觉是计算机视觉的重要分支之一,已被广泛应用于虚拟现实、游戏、考古、医疗和美容等诸多领域。它利用两台相机从不同角度对同一场景拍摄所得到的图像对,通过计算真
我国土壤的镉点位超标率为7%,镉污染治理不容忽视。通过改变镉的赋存形态,降低其生物有效性是镉污染治理的有效途径之一。木本泥炭富含腐殖酸,具有丰富的羟基、羧基等官能团,
目前,三维重建技术在工业设计、机械制造、文物保护及法医学研究等领域的应用日趋广泛,然而现有的纹理重建技术容易受到复杂光照环境的影响。为了提高纹理重建技术的鲁棒性,
随着我国经济社会的高速健康发展,道路桥梁层出叠现,高楼大厦鳞次栉比,而实现这些建设的重要材料就是商品混凝土。混凝土搅拌站作为制备商品混凝土的主要设备亦在其中扮演着
本文以安阳矿区大众煤矿、贺驼煤矿、龙山煤矿的二1煤层为研究对象。采用工业分析和扫描电镜研究煤体物性参数及表面结构特征;采用X射线衍射(XRD)、拉曼光谱(Raman)、傅里叶
在生物医学成像中,图像质量的高低决定了诊断与治疗的手段,其中灰阶分辨率是衡量图像质量的重要参数。特别是在乳腺肿瘤的检测中,提高图像的灰阶分辨率有助于更准确地提取肿
十九大报告明确指出,“三农”问题,即农业、农村和农民问题是关系着国民生计的本质性问题,必须始终将解决好三农问题作为全党工作的重中之重。所以,本文在此现实背景下,研究