基于多样性增强技术的集成宽度学习方法

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:beakerzhou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
宽度学习系统是一种浅层网络,结构清晰,由输入层、隐藏层以及输出层组成。宽度网络模型训练速度快,并且具有良好的横向扩展能力,有多种增量算法能够快速更新宽度网络模型,使其能够适应很多场景的应用。但是宽度学习网络在处理复杂问题时仍有不足,在实际应用中的性能表现依旧需要改进。集成宽度学习方法可以改善宽度网络的过拟合和不稳定问题,提升集成模型的泛化性能,而模型之间的多样性则是集成学习成功的关键,因此本文从多样性增强的角度出发进行集成宽度学习方法的研究,针对宽度网络以及集成宽度模型所面临的问题提出相应的改进方法。主要研究内容如下:(1)在面对复杂的不稳定高维数据时,单个宽度网络的鲁棒性与泛化性较差。针对此问题,从数据多样性的角度出发,本文提出基于输入属性扰动的集成宽度学习方法。该方法在宽度学习网络的基础上引入随机丢弃技术,在训练过程中按照一定概率暂时丢弃随机权重,利用不同的权重对输入属性进行扰动,增加数据样本的不同观测视角,降低模型过拟合的风险,得到具有互补能力的不同子网络以提升集成宽度模型的性能以及泛化能力。最后,选取了default、zoo等公共数据集对模型的性能表现进行了验证。(2)在模型集成过程中,单独训练多个网络的集成方式会使得训练时间过长,带来很大的计算成本代价。针对此问题,从参数多样性的角度出发,本文提出基于相似性度量的集成宽度学习方法。该方法利用宽度网络特有的横向结构,将特征层与不同的增强节点组相结合,快速得到具有不同隐层的子模型网络,再利用相似性度量正则化项构造新的目标函数,正则化项负责约束输出权重,对模型参数进行扰动,促进参数之间的多样性。通过对目标函数的求解优化,依次生成具有低相似性的子模型,该方法不仅可以增加模型之间的多样性,而且可以降低模型的训练时间消耗,节省计算成本,从而快速建立有效的集成宽度模型。最后,选取了biodeg、seed等公共数据集对模型的性能表现进行了验证。(3)训练多个网络的模型参数需要独立存储,其内存占用问题不可避免,而当模型参数过多或硬件容量有限时会限制模型的应用与推广。针对此问题,从结构多样性的角度出发,本文提出基于尺度向量的结构集成宽度学习方法,旨在保持集成宽度网络良好性能的基础上降低模型内存占用。该方法将余弦距离正则化约束项引入到目标函数中训练得到尺度向量,利用不同尺度向量在网络中寻找子网络隐藏路径提取不同的网络结构进行集成,在存储时保存尺度向量可以缓解内存占用的约束。该方法从网络结构角度引入多样性,在训练过程中可以降低节点之间的协同作用,减少模型过拟合风险提升模型性能,并且降低集成宽度模型的内存占用。最后,选取了hepatis、hung等公共数据集对模型的性能表现进行了验证。
其他文献
在产品设计开发过程中,由于顾客需求变化、供应商变更、相关技术发展进步等原因不可避免地会发生设计变更,对产品的研制成本和开发周期都会产生较大影响。尽管模块化设计策略理论上满足模块内“高内聚”、模块间“低耦合”的特性,但在产品实际设计过程中,鲜有完全独立的模块,模块之间通常存在接口零部件,这就导致某个模块的变更可能会影响其他模块,发生模块间的变更传播,对产品交货期和产品功能实现造成消极影响。为了尽量控
学位
随着我国社会经济高质量发展,我国城镇一体化不断加深,人民群众的生活水平日新月异,人口资源消耗量也与日俱增,环境污染逐渐加重,水污染现象也逐渐增多,水环境治理刻不容缓。盐城市全市地势低,境内河沟纵横,水网密布,但水环境总体情况不稳定,全市水环境治理工作方兴未艾,政府机构改革仍有待完善,存在入海河流水质不能稳定达标等难题,面临着严峻的形势。探索出适合盐城地区的水环境治理方法,改善传统的水环境治理局限性
学位
现代煤化工是我国应对能源安全的战略技术储备,“双碳”背景下煤化工绿色、低碳、清洁、高效用煤成为必需。新疆准东地区低变质程度煤炭资源丰富,但高惰质组含量限制了其精细深度加工利用水平。浮选作为富集煤岩显微组分最具工业前景的技术,依然存在富集效果差、分选效率低等技术瓶颈,规模化浮选富集煤岩显微组分仍难以实现。该论文以新疆准东矿区低阶煤为研究对象,提出了荷电微纳气泡浮选富集煤岩显微组分的新思路,以煤岩显微
学位
随着现代化矿井建设的步伐快速向前,巷道掘进过程中所遇到的地质条件越来越复杂,部分矿井面临采掘失衡、巷道支护困难问题愈发严重。本文根据贺西煤矿对采对掘时期,3318工作面两巷所受的3316回采、不稳定采空区、本巷道掘进及本工作面回采的多重动压叠加影响,开采难度的问题,采用岩石力学理论、数值模拟、现场实测手段对3318工作面回风巷受重复采动影响下的巷道变形规律进行探究,根据贺西煤矿生产现状,剖析影响巷
学位
磨损是大型机械设备的主要失效形式,如何准确获取设备的磨损工况信息,确定其磨损程度、磨损部位和磨损原因,在故障早期及时将其发现排除,对于实现大型设备的预测维修,保障其可靠运行具有重要意义。在设备磨损工况监测中,铁谱分析是一种重要的技术手段,但目前还存在诊断结果定性结论居多、对操作人员的专业水平依赖性强及诊断效率低下等问题。为此,本文对设备磨损工况的量化定性铁谱分析方法进行探究,以期提高设备磨损工况判
学位
在煤炭的开采以及分选过程中产生的细泥矿物罩盖在煤表面,给细粒煤的分选增加很大的难度。减少煤表面的细泥罩盖是提高浮选精煤品质的重要途径,也是煤炭浮选领域的研究热点。本文主要通过研究脉石粒度以及煤表面粗糙度对细泥罩盖的影响规律,探究细泥罩盖的尺度效应,即随着尺度增大,细泥罩盖的机理由微观界面作用力转变为宏观作用力。首先,通过实时在线颗粒分析仪(PVM)观察脉石颗粒在煤表面的细泥罩盖情况,并通过图像处理
学位
由于我国煤矿开采深度的增加和资源条件的恶化,由动载诱发的冲击矿压灾害日益严峻。目前,防冲支护的相关理论研究要仍落后于现场工程实践,特别是巷道冲击矿压的发生与静载应力、动载应力、支护条件和卸压程度等因素密切相关。综合考虑多因素影响下的巷道冲击破坏机理和相关支护理论的研究还不多见。为此,本文采用理论分析、数值模拟、相似模拟试验等研究方法,对动静组合加载下巷道围岩响应特征及诱冲效应进行了研究。首先,采用
学位
零样本学习是迁移学习中的一种特殊场景,其目的为在训练集和测试集的类别互不相交的情况下,利用语义描述信息对样本进行分类。基于样本生成的方法不易受到枢纽点问题和领域偏移问题的影响,因此被广泛应用到零样本学习中。这类方法通过生成不可见类别的样本,解决训练过程中测试集所包含类别的样本缺失问题,从而将零样本分类任务转化为监督学习分类任务,使得分类精度大幅度提高。然而,现有基于样本生成的零样本分类方法存在生成
学位
在煤岩动力灾害监测预警方面,声发射技术和电阻率法得到了广泛地应用,深部矿井下多煤层或者相邻煤层的开采时常受到循环载荷作用,且矿井煤层含有一定水分,水削弱了煤体的力学性能,影响煤体破坏过程中的声电信号,对煤炭安全开采造成影响。而在循环加卸载下对含水煤样破坏过程中产生声电信号的研究相对较少,故亟需开展循环加卸载下含水煤样声电特征实验研究,对含水煤样循环受载其内部损伤判别、煤体安全性评价、声电监测预警、
学位
以露天煤矿剥离的废石为骨料制备胶结充填材料对端帮边坡压覆的煤炭资源进行充填开采不仅可以有效提高端帮滞留煤的采出率,还可以降低废石剥离物的排放量,减少土地占用和环境污染。进行端帮充填开采后,废石胶结充填体将受到爆破振动等动态荷载和上覆边坡岩层等静态荷载的作用。因此,研究露天煤矿废石胶结充填体的动静态力学特性及破坏机制是确保端帮边坡稳定和煤炭资源绿色安全高效开采的基础。本文利用WDW-300电子万能试
学位