基于混合共享与网络优化的多任务学习方法研究

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:mailtohanfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多任务学习作为深度学习的一个分支,得到了广泛关注与深入研究,但由于目前对任务的相似性、关系、层次性等的理解非常有限,使得深度多任务学习神经网络区分任务困难;其次,深度多任务学习神经网络的结构由一般的层参数共享逐渐演变到具体层之间的连接和切换,愈加复杂。因此,针对上述问题,提出基于混合共享与网络优化的多任务学习方法。主要工作如下:(1)针对网络区分任务困难的问题,提出多任务混合学习方法。首先,无需区分不同任务,将多任务训练数据一同送入网络进行混合训练,所有任务共用一个损失函数,前一次训练所得的网络共享层参数作为下次训练的共享层初始化参数;然后,根据不同共享层提取特征的差异和任务在深层梯度变化的不同,调节相应的神经元激活值,进一步优化网络参数,并有利于解决多任务训练过程中数据的非平衡问题。(2)针对多任务学习的特征提取和网络结构复杂难题,提出了参数混合共享网络及其多任务学习方法。首先,依据硬参数共享网络混合训练方法和影响因子权重分析方法,提出任务相似度分组策略;然后,对组内、组间的任务分别应用硬、软参数共享,并给出参数混合共享网络及其相应训练方法。该方法充分发挥了硬、软参数共享机制的优点,较好地刻画了任务的共享与私有特征,提升了多任务学习网络的性能。(3)针对多任务学习神经网络因其任务量、计算量以及存储资源的需求,难以在计算资源有限的设备或平台上部署的问题,提出了一种基于梯度结合影响因子权重分析的多任务学习网络剪枝方法。首先,根据给定的数据集,采用无需区分不同任务的混合训练方法训练多任务学习网络,在获得网络参数的同时可以有效去除由数据带来的网络偏向性;其次,根据影响因子权重分析方法计算不同任务在网络中的梯度变化差异,据此确定其中可以表征全部任务的关键神经元;最后,基于综合分析,剪去多任务学习网络中所有任务的冗余神经元及其连边,从而达到简化网络结构、降低资源消耗、并提高网络计算效率和泛化能力的目的。为检验上述多任务学习混合训练方法、硬软参数混合共享网络结构与相应的训练策略,以及梯度结合影响因子权重分析的网络剪枝方法,选用UCI公开数据集中的鸢尾花和天平秤数据以及MNIST数据集进行实验,并与主流的多任务学习方法进行对比分析,验证了基于混合共享与网络优化的多任务学习方法的有效性。
其他文献
社区是居民生活的基本单元,社区生活圈内的公共服务设施配置水平直接影响居民的日常生活水平,提高居民居住满意度成为打造宜居社区的基本内容。本研究基于可达性理论、Campbell模型理论及顾客满意度理论,以银川市主城区为研究案例区,结合人口密度特征,利用大数据及ArcGIS空间分析手段,以居民居住小区为起点,构建银川市主城区5、15、30分钟社区生活圈,对社区生活圈现状及各类公共服务设施空间分布特征、覆
学位
测度区域突发公共事件的风险综合特征及分区是当前乃至今后我国应急管理提高预判性与可操作性面临的重大课题。基于区域灾害系统理论和风险概念,集成可能性、危害性、脆弱性等风险要素,按照“风险识别—指标设计—模型构建—案例分析—风险评估”流程,尝试构建了用于区域风险综合评估的 PHV 集成模型(Possibility,harmfulness,vulnerability integrated model),同
学位
六盘山区是中国11个集中连片特困区之一,兼具资源环境承载能力低、贫困人口集中和农户生计脆弱性高等特征。随着全球变化和城镇化推进,不同空间尺度农户生计联系更加紧密。明确宁夏六盘山不同空间尺度农户生计脆弱性特征、影响因素和关联关系,对制定有效的降低农户生计脆弱性策略,提升农户生计可持续性,降低贫困地区农户生计脆弱性,巩固脱贫攻坚成果具有重要意义。文章基于2021年宁夏六盘山区农户调研数据、2016-2
学位
全球气候变暖已成事实,这对人类社会、经济及生态环境产生重要影响。作为陆地生态系统中最重要的组成部分,植被在改善生态环境、减少水土流失等方面发挥巨大作用,但随着我国人口和经济的快速增长,人类活动可以直接或间接影响植被覆盖,加之气候变化的区域差异性,使植被覆盖变化十分复杂。深入研究植被覆盖的时空变化特征并探究其驱动因素对于制定生态文明建设的政策具有重要意义。黄河流域大部分位于干旱半干旱区,对气候变化十
学位
宁夏沿黄城市带生态环境脆弱,水资源时空分布不均。分析宁夏沿黄城市带干旱与径流响应机制,对了解地区的干旱驱动机制,进一步研究黄河流域高质量发展,优化区域农业水资源管理具有重要意义。本文以宁夏沿黄城市带为研究区域,以1995-2015年为研究时段,选取土地利用、DEM、土壤、气象等数据为基础数据,在ArcGIS10.8、ENVI5.5、MATLAB2021a等平台的支持下,采用3S技术、Budyko水
学位
20世纪30年代左右,随着城市近代化的发展、地区经济水平的提高,兰州出现多种不同类型的报纸,民众得以通过新型报纸接收到更多的外界信息,一改闭塞视听的局面。其中具有代表性的《甘肃民国日报》也在此时应运而生。作为民国时期甘肃省出版时间最长、影响力最大的地方报纸,该报在注重日常“新闻纸”的宣传外,也注重广告的刊载,在1943年的《甘肃民国日报》中广告版面就曾与新闻版面“平分天下”,数量众多的报纸广告不仅
学位
基于对《人民日报》乡村医生报道的内容分析和框架分析,本文试图回答:《人民日报》是怎样建构乡村医生媒介形象的?建构出乡村医生何种媒介形象?乡村医生媒介形象建构演变逻辑?乡村医生媒介形象建构特点?本文提出,《人民日报》运用不同的新闻生产框架,建构出奉献者、学习者、改革者以及服务者四种正向积极的乡村医生媒介形象。乡村医生形象塑造从“单薄化”走向“立体化”,人物塑造从“圣神化”走向“职业化”,媒介形象从“
学位
六盘山片区作为我国脱贫攻坚的主战场之一,是主要的欠发达地区。在后2020相对贫困治理时期,如何缓解六盘山片区相对贫困问题,进而助推乡村振兴,实现区域高质量发展等国家战略,具有十分重要的意义。然而,只有在把握六盘山片区相对贫困状况的基础上才能更好地实现乡村振兴。基于此,本文对六盘山片区相对贫困测度与时空分异机制及关系机制展开研究。基于现有研究,本文通过整理贫困地理的研究进展,对贫困地理学的理论基础,
学位
自新中国成立至上世纪七十年代,近三十年的时间里来自全国各地的青年男女参与到支援宁夏建设的行列中,形成了“支宁人”这一特殊的社会群体,支宁工人则是该群体中的典型代表,正是他们一手搭建起宁夏的工业系统。虽然如今这些支宁工人已经成为耄耋老人,但关于他们过去工作和生活的记忆并没有因时间而消逝,他们的集体记忆依靠不同的媒介得以保存与延续。本研究以集体记忆理论为框架,通过文本分析和深度访谈的方法,探讨支宁工人
学位
城市形象是指公众对一个城市内在综合实力、外显表象活力和未来发展前景的具体感知、总体看法和综合评价,反映着城市总体的特征和风格。随着现代城市发展进程越来越快,人们已经不能完全依靠自己的社会实践活动去了解一座城市,媒体上传播的内容成为人们掌握城市形象的重要渠道。自2009年召开第五届中国传媒经济年会以来,“中国传媒与城市发展”成为社会各界讨论城市形象的主题,此后几年,我国多次召开“媒体与城市发展”相关
学位