卷积神经网络的权重初始化方法研究

来源 :青岛大学 | 被引量 : 0次 | 上传用户:haivi2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
权重初始化是指在卷积神经网络开始训练之前,给予其合适的初始值,优化模型在训练过程中的收敛速度以及最终的泛化能力。卷积神经网络的训练目标是寻找权重最优解,因此,合适的权重初始化方法是卷积神经网络快速收敛并获得良好泛化性能的基础。现有的随机初始化方法加重了模型训练的负担,迁移学习初始化方法对迁移前后的目标任务以及模型结构具有一定的要求,从而限制了其应用范围。因此,本文从预训练模型的权重统计分析入手,通过分析预训练模型的权重分布获取其分布规律,并将分布规律应用于模型初始化,从而,减弱了随机初始化的盲目性,解决了迁移学习初始化对于模型结构的依赖问题。本文主要工作和创新点如下:(1)针对随机初始化方法缺乏分布规律指导的现状,研究预训练模型中先验信息的规律,并据此制定新的初始化方法。由于现有的随机初始化方法都是以正态分布和均匀分布为主,本文对权重具有的分布特征进行拟合和检验。通过基于JarqueBera统计量的正态性检验以及双对数下线性拟合的幂律分布检验,最终确定其符合对称幂律分布的特征。通过对幂指数变化情况的分析,确定各卷积层的幂指数随着层数的加深而逐渐减小的规律。依据得到的规律,建立了初始化方法中的概率分布函数为对称幂律分布函数,据此创建初始化方法的数学模型。结合卷积层幂指数的变化规律,制定了一种基于卷积层规律的权重初始化方法(NSPL_layer)。(2)在上述研究基础上,以同层卷积核为对象,研究卷积核各个位置上的权重分布,得出了卷积核权重的空间分布规律,并据此制定新的初始化方法。依据卷积核结构和卷积操作过程,对卷积核上同一宽度和高度坐标位置、不同通道的权重进行研究,最终归纳出预训练模型权重的幂指数随着卷积核位置由中心向四周呈现步长递减性的规律,对卷积核的位置提出了类别划分方式。基于创建的对称幂律分布的模型,提出了结合卷积核幂指数变化规律的数据采样算法,设计了一种基于卷积核位置规律的权重初始化方法(NSPL_kernel)。(3)设置对比实验,检验两种初始化方法的有效性和适用性。选用目前常用的He初始化方法为实验对比对象,选择若干网络模型在不同数据集上进行对比实验。实验验证基于幂律分布的两种初始化方法在RGB图像分类问题中,提升了模型的首轮次精确度,并且对模型的最终准确率也具有一定的优化作用,其中基于卷积核的初始化方法比基于卷积层的初始化方法优化程度更高。
其他文献
在科技发达的今天图像随处可见,但由于图像在获取、处理、传输等过程中存在机器设备使用不合理或处理方法不恰当等情况,导致图像出现一定程度的失真。在图像识别、视频点播、远程会议等应用图像或研究图像过程中,图像质量的好坏十分重要,直接决定用户的体验效果。因此,如何合理地评估图像的质量变得至关重要。与自然图像不同,屏幕内容图像包括文本和图片两个部分,但是现有的方法大多在一张图像上随机截取N个固定大小的块(p
学位
随着密集型应用的发展,移动设备的计算能力和存储能力越发引起业界和学界的重视,移动边缘计算可有效提高移动设备的计算能力和存储能力,这就需要一种合理的计算卸载与协作调度方案。本文重点聚焦于移动边缘计算下计算卸载与协作调度的联合优化问题,并将其拆为两个问题,即基于时延结果为目的的计算卸载问题以及基于资源分配结果的协作调度问题。针对计算卸载问题,为了提高泛用性,现有研究主要从强化学习展开,但仍存在手工提取
学位
机械臂系统具有代替人完成各种复杂的、精密的、危险的工作,提高劳动生产力等优点,被广泛地应用于各种工业场所。机械臂系统中存在的不确定性和外部干扰会对机械臂的位置跟踪精度产生影响,而如何克服系统中的不确定性和外部干扰,对于提高机械臂的位置跟踪精度具有重要的研究价值和意义。本文针对含有不确定性和外部干扰的机械臂系统,基于参数辨识、滑模控制、神经网络控制、不确定性和干扰估计器、自抗扰控制等方法设计了解决不
学位
随着计算机视觉技术的日益发展,相关成果已经广泛应用于如医疗、交通、国防等多个领域,但在雾霾等恶劣天气的影响下,成像设备获取到的图像质量不佳,进而影响相关技术应用的性能。因此,图像去雾成为了一个至关重要的问题,也是现在研究的热门领域之一。由于当前去雾数据集均为合成有雾图像,与真实有雾图像的差异较大,一定程度上限制了深度学习去雾算法的性能。为解决真实有雾图像无法应用到网络训练的问题,本文基于半监督学习
学位
多相图像分割的变分模型是典型的多变量优化问题,其非线性、非凸性、非光滑特性导致局部极值问题突出,模型解依赖于初始条件和惩罚参数,实际应用困难。通过箱函数、广义余面积公式、千层饼公式等可从理论上将原问题转化为全局凸优化问题,但随着分割相数的增加,箱函数的维数急剧增加,导致了计算复杂、效率低下。针对于以上问题,本文对基于一个标量多标签函数划分多个区域的多相图像分割变分模型-LLT模型改进,主要创新点如
学位
COVID-19问题并没有随着时间和季节的更替而消失,尽管大多数国家在抗击疫情和疫情防控等方面取得了显著成效,但公众对新型冠状病毒的认识还远远不够。在COVID-19大流行期间,基于位置的游戏(LBGs)行业受到了冲击。虽然围绕提供科学信息以预防COVID-19和改善个人护理相关严肃游戏的研究得到了很好的发展,但是没有研究表明LBG可用于帮助预防COVID-19感染。因此,本研究针对COVID-1
学位
随着中国社会主义现代化建设和工业化的发展,社会对煤炭的需求也大幅度增加,目前我国工业使用的锅炉主要形式是循环流化床锅炉,燃煤锅炉是重要的热能动力设备,在工业领域广泛应用。但是工厂中的燃煤锅炉在使用过程中会产生大量污染物,包括二氧化硫、二氧化碳、氮氧化物以及烟尘等,这不仅会对生态环境造成污染,也威胁着人民群众的身体健康,不符合我国倡导的可持续发展理念,提高燃煤锅炉的燃烧效率和降低氮氧化物排放量成为首
学位
文本检测是一种利用相关算法提取图像中文本区域的技术,用以实现对自然场景下或电子版文档中文字的检测,其在场景解析,即时翻译等领域有着广泛应用,并在计算机视觉研究中扮演重要角色。文本检测分为基于机器学习的方法和基于深度学习的方法,与基于机器学习的方法相比,基于深度学习的方法能够不断的优化检测网络,在检测速度、精度和适应各种不同应用场景的能力方面有很大提升。但是,受到传统CNN网络、特征融合和文本形状复
学位
人体姿态估计任务旨在从图像或视频中定位出人体关键点位置,该任务可作为其他计算机视觉任务的基础。近年来,人体姿态估计受到了越来越多的关注,并被广泛应用到人机交互、计算机仿真系统等现实场景。现有的基于深度学习的算法克服了手工提取特征主观性较强的弊端,具有强大的特征学习能力。然而如遮挡、训练数据不足等问题仍制约着算法检测精度的提升,且复杂的网络结构会导致检测速度过慢。针对上述问题,本文提出了以下三种解决
学位
计算机视觉和自然语言处理是人工智能领域中热门的研究方向,目的是让计算机模拟人类的视、听系统。显著性检测是计算机视觉的重要研究内容,尤其是视频显著性检测得到了更多的关注,其旨在通过模拟人类的视觉系统自动识别出场景中最吸引人类注意力的物体或区域,可以从海量的数据中获取重要信息,将有限的计算资源分配给更重要的信息。但人类是同时感知声音和视觉模态,故音视结合的显著性检测更符合真实的场景。由于音频信息和视频
学位