基于改进激活函数的卷积神经网络算法及应用研究

来源 :上海海洋大学 | 被引量 : 3次 | 上传用户:c948221078
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习、人工智能、网络技术的发展,各个领域对大数据和深度学习的研究和运用越来越多。卷积神经网络算法以其特有的局部连接、权值共享的特性,在深度学习研究中占据着极其重要的位置,并且由于卷积神经网络算法中的卷积过程能够自动快速地学习到图像的特征,因而在图像分类任务中表现出极大的优势。随着对深度学习和图像分类不断地进行深入研究,卷积神经网络算法在图像分类任务中仍存在着一些不足,如在不同任务中,相同算法模型的分类能力强弱不等,不具统一性和普适性;在建立分类模型阶段,由于用来实现图像分类任务的卷积神经网络的并没有具有严格理论支撑的普适通用的模型结构,要想确定分类模型结构,必须通过大量的实验研究进行选择和优化;卷积神经网络对训练样本的规模要求严格,一旦训练样本数量少就会出现模型分类精度低的现象;由于激活函数在卷积神经网络算法中有着极其重要的作用,如果选取不当必会降低模型的分类准确率,激活函数的选用是否合适直接影响着网络分类性能的好坏。是提高网络分类性能的关键。在卷积神经网络中,不同的激活函数都有各自的优缺点,如线性激活函数不能使模型具备良好的多分类功能,非线性饱和S型激活函数能满足多分类的需求,但是极易使网络训练出现梯度消失的问题,非线性分段函数Relu能避免梯度消失问题,但却容易是网络出现神经元死亡的问题等,如何选择和使用最佳的激活函数在基于卷积神经网络的图像分类中是一大难点。针对卷积神经网络在图像分类中存在的问题以及常用激活函数存在的不足,本文对卷积神经网络算法中的激活函数、网络模型结构进行研究和改进,以求提高图像分类的准确率以及增加模型的稳定性和通用性。具体的研究如下:(1)通过对激活函数的研究,分析多种常用激活函数在神经网络中的利弊,针对修正线性函数Relu对网络中的负激励的强烈抑制特性及双曲正切函数Tanh对网络造成的梯度消失的问题,提出具有软饱和-线性结构的激活函数T-Relu函数,从而提出改进的卷积神经网络算法TRCNN,根据激活函数及算法的理论推导,证明了软饱和-线性结构激活函数T-Relu能使TRCNN算法具有更好的特征学习能力。(2)基于对卷积神经网络模型的认识和研究研究,通过大量的实验,逐步确定基于TRCNN算法的卷积神经网络卷积-卷积-采样的模型结构、8层的网络深度和防止过拟合的dropout-L2的组合方式,构建本文的图像分类模型Typ-CNN,应用到自建的台风等级卫星云图的分类中,分类精度达到83.72%,比传统的CNN模型的分类精度高2.3%,从而证明了Typ-CNN模型具有良好的分类效果。(3)最后通过在Typhoon数据集、MNIST数据集和CIFAR-10数据集上进行多组实验对比,分别得到84.17%、98.64%和72.34%的分类正确率,同等条件下优于其他几种激活函数作用下的CNN算法分类效果。证明了基于T-Relu激活函数的TRCNN算法的可用性。综合所有实验结果可知,基于不同激活函数的CNN算法在相同数据集和分类模型结构的条件下分类能力不同,基于相同算法和网络结构的分类模型对不同数据集的分类效果也不同。
其他文献
移动机器人研究领域包含很多子问题,其中定位与建图问题是实现机器人自主运动和避障功能所必须解决的关键问题。机器人在室外运动可在很大程度上依赖全球定位系统(GPS)提供的
职务发明制度是专利立法的重要基石,也是保证国家科技创新的重要方式。职务发明制度的初衷是为了在发明人和本单位的利益之间找到最好的平衡点,充分发挥职务发明的价值。本文
夫妻共同债务制度是婚姻法的核心问题之一。对夫妻共同债务的认定、处理等法律问题,不仅仅关系到夫妻之间配偶一方的权益,更关涉到第三方债权人的利益,关系到交易的安全和社
随着大数据时代的到来,人们面对数据的体量变得越来越大,但数据的价值密度越来越小,这使得从数据中挖掘价值变得越来越困难。在机器学习中,对象通常包含大量特征,其中可能只
当今中国的电信行业竞争激烈,中国电信、中国移动和中国联通三家运营商在固话、宽带以及各类电信增值业务上相互比拼。特别是在宽带市场,中国电信上海公司为了保持竞争力、提高市场份额,从2009年底逐步开始光网宽带的建设,实施光纤到户战略,为公客和商客用户提供高带宽的接入。从2000年至今,走过黄金十年的ADSL宽带业务增长乏力,用户数量逐渐减少,已经进入业务维持期。随着光纤到户的推广,宽带用户越来越转向高
“颜色革命”和“阿拉伯之春”作为21世纪两次有代表性的国际政治运动,对革命发生国的政治、经济、文化、生活的方方面面产生了深远的影响,有的国家甚至仍在颜色革命的影响之
信息安全在数据中心、服务器、集群等系统中至关重要。在这类系统中,众核系统是主要构件模块。众核系统是上述系统的基础设施,其中,片上网络(network-on-chip,No C)连接众核
PACE(产品及周期优化法)是1986年由PRTM提出的管理模式,从以前的概念发展到大学的研究发展到大公司的应用,乃至现在不论大小公司,学校,政府机构,还是日常生活生产。本文通过对PACE的四要素(阶段审核,核心小组,结构化研发过程,自动化开发技术)理论的研究和分析,着重描述PACE在晶体生长设备研发管理中使用方法,分别从PACE的四要素出发,对每个要素进行解释,并给出实际研发过程中的具体实例,对
湖北省在抗日战争时期受损严重,然而战后的湖北并没有多少时间用于休养生息和恢复生产,接踵而至的国共内战使该省再度陷入困境。湖北省粮食产量向来不丰,再加上水灾、旱灾、
改革开放的今天,农村劳动力大量进入城市,造成远郊农村房屋大量废弃、闲置,城郊房屋私下流转交易频繁,引发诸多的法律问题、社会问题。一些地方政府根据自己的情况开展了宅基