卷积人工神经网络的自学习池化算法

来源 :上海财经大学 | 被引量 : 1次 | 上传用户:iamchinese
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络近年来应用广泛,目前很多图像分类任务的最好成绩都是通过卷积神经网络取得。本文研究重点为卷积神经网络中的池化层。池化层对于提升网络的性能具有重要意义,且除了能应用在卷积神经网络中,还可以应用于深度学习中的其他网络结构。传统的池化方式为最大池化和均值池化,但是这两种方法对于激活值的多样性和显著性不能达到一个很好的平衡,并且会在池化过程中造成信息的损失。基于此有许多改进的池化方法被提出。这些改进的池化方式考虑到了整个池化区域的激活值分布来决定池化的结果,然而基于选择输入特征激活值的池化操作很难选择池化区域的一个完美激活代表。其实这些池化方式都可以看作是加权池化操作的一个特例,于是本文提出基于网络自学习的加权池化方式。本文给池化层增加少量的学习参数,实现根据网络的需要进行对应的特征压缩。并且不同于以往的池化操作,本文对不同通道独立进行池化操作,尽可能多保留网络需要的信息。同时对池化层权重增加正则化约束项,对网络代价函数以及网络的前向、反向传播的算法都做了相应更新。在实验部分,构建经典卷积神经网络模型,使用CIFAR10、CIFAR100和NORB数据集比较不同的池化方法,实验结果表明本文提出的自学习池化方法具有较好的适用性。对于自学习池化层的权重参数,本文对学习结果进行分析。通过对激活值排序后进行权重学习,对比不同层的权重值和激活值的关系,结果表明网络需要的池化操作并非对于更高的激活值赋予更高的重要度。对于自学习池化方式的鲁棒性,本文通过将实验数据集进行不同角度的旋转操作,并用训练好的网络进行实验,数据集的测试结果说明本文改进的池化算法具备较好的鲁棒性。本文还对比了不同池化方式的时间成本,说明该算法时间成本的增加并没有太大。
其他文献
随着互联网信息技术的快速发展和迭代,网络经济成为新的推动经济发展的生力军,对人们的消费习惯产生了巨大的影响。网络成为商家营销和用户购买的重要渠道之一,不仅为消费者提供了选择丰富、方便快捷的购物体验,也为零售企业提供了更多的发展机会。截至2020年12月,我国网购用户规模已经达到了7.82亿,占网民整体的79.1%,网络零售交易额持续稳定增长,电子商务产业规模日益扩大。在此背景下,电商平台及在线零售
学位
本文将经典的最优消费和资产组合选择问题拓展到跳-扩散模型下考虑,认为风险资产是部分可观测的,其预期收益可以用一个二阶的隐马尔可夫链刻画,并引入双指数跳来表现风险资产价格不同跳跃方向跳跃强度的差异性.通过滤波理论得到了跳-扩散模型下的财富过程的创新性表示,然后通过控制消费和资产组合配置使得具有递归偏好的投资者的效用最大化,利用HJB方程推导得出最优解.并在一般递归效用和单位EIS递归效用下,通过Fe
学位
反散射问题作为数学物理反问题中较为经典的一类反问题,近些年来日益受到学术界的关注,其物理背景来源于对声波运动的研究。Helmholtz方程的建立对声波的研究产生了深刻的影响,于是对各类Helmholtz方程的求解,以及解的性质的研究成为了反散射问题的核心之一。本文主要研究了由球面某一开集上带有随机误差的观测数据来反演源项参数的反问题。首先,用Tikhonov正则化的思想,从带有随机误差的观测数据得
学位
迁移学习主要是通过学习源域中带标签的数据对目标域中无标签的数据进行识别分类。目前针对迁移学习,已有很多种不同的解决方案,如基于特征空间和标签空间是否同构,可以将迁移学习分为同构迁移学习和异构迁移学习。基于迁移学习方法中迁移知识的形式来看,也可分为:基于样本、基于特征、基于模型、基于关系四种迁移学习方法。EasyTL方法是一种最近(2019)提出的方法,其建立的前提是特征空间和标签空间相同,但边际分
学位
本文主要研究了随机波动率模型下Switch Corridor方差衍生产品的定价问题。与传统方差产品不同,Switch Corridor方差产品是基于金融市场中的两类标的资产,可用于对冲跨市场的波动风险,可以帮助投资者更好地管理风险,具有重要的市场地位。近年来,Switch Corridor方差衍生品在结构化产品市场中得到了广泛的交易,并于2016年获得了“亚洲风险投资年度最佳交易奖”。由于该产品结
学位
本文从Heston随机波动率模型下的亚式期权定价问题出发,首先通过布朗运动正交变换,从而消除空间方向的二阶交叉导数项,避免了离散交叉导数项导致线性方程组非对称的不足之处。其次基于一般的算子分裂算法,得到三个可进行快速计算的一维问题,并借助分裂后的其中一个偏微分方程有解析解的特征,提出了将解析方法与数值方法相结合的半离散算子分裂算法格式,简化了计算过程。结合多项式插值和无穷区间上的数值积分,大幅提高
学位
概念教学是数学教学的重要组成部分,在数学教学实践中具有举足轻重的作用。本文基于问题驱动视角,详细探讨问题驱动教学模式在高中数学概念教学中的实际价值与存在问题,从“为什么”“是什么”“有何用”三个层面梳理问题驱动教学现状,继而针对性地引导学生正确理解数学概念,掌握其学习技巧,帮助学生奠定扎实的数学概念学习基础,最终培养学生探究、求新、求知的学习品质。
期刊
近年来,在“大众创新、万众创业”政策的号召下,全国掀起了一股创新创业热潮,大量中小企业拔地而起。中小企业占据了我国约70%的GDP,提供了我国约80%的工作岗位,其发展成为了我国经济全面、科学、高质量发展的关键所在。由于中小企业通常自主经营、自负盈亏,且融资渠道狭窄,风险抵御能力有限,如何适应当下经济发展方式的迅速转变并持续、稳定、健康地发展壮大,成为了我国中小企业一个无法逃避的问题。为了解决以资
学位
Anderson加速[5]是一种加速不动点迭代的有效方法.本文对含有混合参数β的Anderson加速进行研究,推广了β=1特定条件下的一些结论:通过对Anderson加速算法中的最小二乘问题进行无约束转化,得到了β在一般取值条件下的无约束的Anderson(mk,β)加速算法和Anderson(mk,β)加速分裂迭代算法;基于线性方程问题,本文给出了 Anderson(mk,β)算法与GMRES方
学位
自19世纪德国数学家August F.M(?)bius[29]引入了平面中的M(?)bius变换以来,在复分析中关于M(?)bius变换的性质和相关定理一直是重要的研究方向之一,并且在一个多世纪的发展过程中得到了很多重要的结论.相对于复数C,Yaglom[41]的提出了经典复数的推广――分离复数R1,1,随后吸引了许多数学家对分离复数中相关问题的关注,但是有关分离复数中M(?)bius变换的性质和
学位