异构迁移学习方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wjtezx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,各行各业产生的数据呈现爆炸式增长,且这些数据具有多源、异构等特点。如何对来自不同领域的数据进行知识迁移已经成为学术界和工业界共同关注的焦点问题。为了有效地解决上述问题,迁移学习作为一种新兴的机器学习框架应运而生。其利用一个或多个辅助领域(即源领域)的大量有类标数据的知识,帮助相关却类标稀缺领域(即目标领域)的数据进行学习,进而建立出可靠的学习模型。目前大多数迁移学习的研究主要集中在同构场景中,即源领域和目标领域数据具有相同的特征表示。虽然同构迁移学习的研究已经取得了丰硕成果,但是这些同构迁移学习方法并不能直接应用在异构场景中,即源领域和目标领域数据具有不同的特征表示。在实际应用中,异构场景也较为普遍。例如,源领域和目标领域数据分别是采用不同语言撰写的文章。因此,为了补足同构迁移学习的短板,本文以异构迁移学习为研究对象,围绕单源异构迁移学习和多源异构迁移学习两个层面逐步展开研究。具体而言,本文的主要研究内容和创新总结如下:(1)针对单源异构迁移学习中领域内部判别能力较弱的问题,提出判别式联合分布自适配方法。该方法利用线性特征变换寻找一个最优的公共子空间,使得在此空间中可以同时提升领域内部的判别性以及领域之间的迁移性。在寻找到最优公共子空间以后,最近邻分类器被用于分类目标领域的无类标数据。在多组跨领域分类任务上的实验结果表明,该方法可以有效提升源领域和目标领域内部的判别能力。(2)针对单源异构迁移学习中特征适配与分类交替执行时,最优化过程不太稳定的问题,提出判别式分布对齐框架。该框架在利用跨领域有类标数据学习一个自适配分类器的同时,不仅明确缩减了领域之间分布的差异,而且显示增强了领域内部的可分性。基于该框架,线性投影函数和两种不同的损失函数分别被载入其中,进而衍生出两种不同的方法。在多组跨领域分类任务上的实验结果表明,该框架的分类准确率显著超越了交替执行特征适配与分类的方法。(3)针对单源异构迁移学习中线性特征变换能力有限的问题,提出柔性迁移网络。该网络利用非线性特征变换学习一个最优的公共子空间,在匹配领域之间判别面方向的同时,减小了领域之间分布的差异。为了尽可能消除负迁移的影响,该网络采用目标领域无类标数据的软类标信息对领域之间的条件分布进行对齐。此外,由于软类标的准确性会随着迭代次数的增加而不断提升,因此该网络又引入一个自适应的系数去不断提升软类标的重要程度。在多组跨领域分类任务上的实验结果表明,该网络的分类准确率显著超越了采用线性特征变换的方法。(4)针对多源异构迁移学习中多个源领域较难有效适配的问题,提出条件加权对抗网络。该网络利用非线性特征变换搜寻一个最优的公共子空间,通过对抗地学习特征变换器、领域鉴别器以及分类器来进行适配和分类。此外,为了深入刻画不同源领域的重要程度,该网络引入一个精妙的条件加权机制,其不仅根据每个源领域与目标领域之间条件分布的差异来为每个源领域分配相应的权重,而且减小了所有源领域和目标领域之间条件分布的差异。在多组跨领域分类任务上的实验结果表明,该网络可以较好地将多个异构源领域的知识迁移至目标领域。总体而言,本文紧扣异构迁移学习,分别提出判别式联合分布自适配方法、判别式分布对齐框架、柔性迁移网络以及条件加权对抗网络。在多组跨领域分类任务上的实验结果验证了上述所提方法的有效性,因此本文的研究成果有望为异构迁移学习研究带来一些新的思路和启发。
其他文献
金属催化剂的界面结构能显著影响电还原CO2反应的动力学。制备高效的金属催化剂并研究其构效关系对于实际应用至关重要。但是,目前催化CO2还原的金属催化剂,存在构筑策略局限、C2+产物选择性低,以及材料构效规律不清等问题。由此,论文围绕金属材料,构筑了仿酶结构的单位点金属催化剂、二元分相Ag/Cu合金以及不饱和配位氧化物衍生Cu,通过XRD、TEM、SEM、FT-IR、电化学测试、原位XAFS、原位R
电磁吸收和通信性能在军事隐身领域占有极其重要的地位。人工电磁吸收结构凭借其对电磁波优秀的吸收响应,被广泛地应用在空间反射回波调控应用中。然而传统吸收结构通常使得其天线模块丧失了对外通信性能,因此开展人工电磁吸收结构的传输特性研究具有较高的应用价值与现实意义。传输型人工电磁吸收结构是一种在实现电磁能量吸收响应的同时提供通信性能的平面周期结构。然而,其工作频带内吸收与传输响应间的性能制约为该类设计带来
网络控制系统是系统组件经由共享通讯网络连接而成的闭环反馈控制系统。随着互联网技术发展的日新月异,网络技术与现代工业生产过程之间的交叉融合日益加深,科学理论的蓬勃发展使网络控制系统实际上变得日益复杂,通常具有高度非线性特性。而复杂随机系统作为控制系统领域的重要分支,能够较为准确地描述网络通讯系统、航天器系统、运动控制系统中存在的系统结构突变,已成为了经久不衰的研究热点受到学者们的广泛关注。而实际系统
陶瓷材料优良的力学、热学、电学、光学等性能,使其在高新技术行业和先进制造领域占据着不可替代的作用。然而,陶瓷材料的硬度高、熔点高及脆性大等固有特点,又使其在切割加工过程中易出现表层和亚表层损伤及切缝处的热损伤等缺陷问题。热裂法切割以其无材料去除、断面质量好、损伤小等加工特点,逐渐被应用于切割玻璃、陶瓷等硬脆性材料。然而,目前国内外学者在采用面热源进行陶瓷材料的热裂法切割时,尚存在裂纹扩展机制不明晰
氢能源拥有燃烧热值高、无污染及可再生等优点,是新能源开发的重要方向。电催化分解水是较为理想的制备氢气的方法之一。然而传统电解水制氢的方法需要较高的过电位,所以要引入催化剂来降低过电位。目前,铂族贵金属是最为高效的分解水制氢催化剂,但铂族贵金属高昂的价格导致生产成本过高,不易实现工业化大规模应用。所以,寻找高效、廉价的催化剂就成为了目前研究的当务之急。近些年,利用过渡金属及其化合物来代替贵金属作为析
旋转机械是一类应用广泛的机械装置,在工业生产中承担着重要的作用。面对逐渐复杂化和智能化的旋转机械设备,发展能够实时感知设备健康状态及退化趋势的健康状态管理系统是保障工业生产过程可靠性、安全性和经济性的重要举措。数据驱动的智能故障诊断是健康状态管理系统中的重要技术,其旨在利用机器学习技术从大量设备监测数据中学习故障的表现形式以及故障模式的识别规则。传统数据驱动的故障诊断方法获得良好泛化性能的前提是要
世界经济的快速发展改善了人们生活质量,但伴随而来的诸如能源的大量消耗、资源的可预见性短缺、三废的无秩序排放等现象也带来了严重的环境问题。制造业作为能耗、碳排放大户是引起环境问题的主要源头之一,数控切削加工过程又是制造业的必备一环,会消耗大量的资源、能源,产生固、液、气三态废弃物,其环境影响问题已愈来愈引起学术界和工业界关注。为保证绿色低碳加工,优化加工过程碳排放、建立绿色性评价体系已成为当前研究热
机械设备往往会根据生产任务的不同不断调整工作状态,为了保证设备运行的安全性和维修的有效性,实现在多工况下设备的寿命预测具有重要的意义。针对多工况下设备寿命预测问题,尽管基于实例推理框架的相似轨迹方法给出了很好的解决方案,但在单一工况下退化指标间相似性度量、多工况下退化模型难获取、服役设备预测阶段与服役阶段任务剖面不一致、相似轨迹方法寿命点预测结果不可靠等方面还存在急需解决的困难问题。本文针对相似轨
功率密度的大幅增加,使得集成电路单位面积的热量持续升高,热管理系统作为航天电子大功率器件的重要组成部分,成为制约高速飞行器服役能力的关键技术。石墨膜(GF)是一种新型高导热二维材料,具有较低的密度、良好的耐腐蚀性、较高的热导率和较低的热膨胀系数等优点,其面内热导率可以达到1100-1600W/(m·K),被认为是未来最具潜力的热管理用复合材料增强体。本论文主要研究碳纳米管(CNTs)表面改性石墨膜
点阵结构具有高比刚度、高比强度、高度的可设计性和多功能一体化潜力,是力学与材料科学领域的研究热点之一,然而连接技术的不成熟严重制约了点阵结构的发展与应用。一方面,点阵结构独特的拓扑构型使其难以实现连接引起的集中载荷传递,另一方面,由于缺少系统的理论分析,点阵结构连接力学行为与结构参数之间的内在联系仍不明晰。因此,本文开展复合材料点阵夹芯结构镶嵌件连接设计和力学性能研究,构建点阵结构集中载荷传递路径