基于自监督知识的的域适应学习研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:andacaizheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,充足的训练数据给机器学习带来了巨大的性能提升。大量的数据也意味着需要大量的人工标注,然而人工标注往往耗时耗力,这催生了迁移学习(Transfer learning,简称TL)的发展。迁移学习旨在借助相关源域的知识辅助目标域学习,以解决目标域数据或标记稀缺的问题。域适应(Domain Adaptation,简称DA)学习是迁移学习中的重要研究方向。域适应方法通常利用基于距离或者对抗的方式,减少域间分布距离以生成域不变特征。对于域间标签集合不完全一致的学习场景,已有工作通常使用阈值法识别共享类,实现域间共享类的分布对齐。虽然域适应已广泛应用于众多真实学习场景,但依然存在不足和亟需改进之处:1)已有域适应学习方法通常仅关注域间的分布差异最小化,并未充分考虑和利用目标域的结构信息。2)已有方法仅适用于域间标签集合存在交集的情形,对于标签集合无交集的极端情形并不适用。针对上述两点,本文提出了以下解决方式:针对第一点问题,本文提出了基于目标域结构信息的对抗域适应。首先,采用自监督方式学习源域和目标域的初始特征,接着基于最大分类器差异方法(Maximum Classifier Discrepancy,简称MCD),引入目标域的结构信息,以进一步提升目标域的学习性能。实验表明,相较于其它闭集域适应方法,引入目标域结构信息可同时提升目标域学习性能和学习收敛速度。针对第二点问题,本文提出了基于自监督知识的无监督新集域适应(Unsupervised New-Set DA,简称UNSDA)学习,采用自监督进行预训练,同时使用类对比损失将源域的类对比知识迁移至目标域,协助目标域获得具有鉴别能力的特征。再在目标域样本上使用基于自监督的分类损失,实现域间标签集合不相交情形下的目标域分类。实验表明,此方法相较于无监督域适应、聚类、发现新类等方法获得了显著的性能提升。此外,此方法同样适用于域间标签集合存在交集的学习场景。
其他文献
随着数据标记的获取成本在不断提高,无监督域自适应任务从有标签信息的源域中提取相关的信息用于无标签信息的目标域分类任务,极大地减少了数据的标记成本。近年来,图卷积网络的流行在无监督域自适应任务中取得了巨大的成功。虽然大部分基于图网络的无监督域自适应方法通过促进域间知识转移来帮助目标域完成任务,但是目前这些方法对以下问题还未进行探究和解决:(1)相同类不同域之间的样本存在分布差异问题。(2)域自适应任
学位
随着移动互联网的快速发展,移动网络流量呈现爆炸式增长,用户的服务请求带来了边缘服务资源能力不足以及用户不能及时获取相应服务的问题。同时,现有的边缘服务资源的分配技术已不能满足移动网络中的用户需求。为了解决这些问题,一种可行的方案就是提高网络中边缘服务资源能力。一般地,可以增加可提供边缘服务的运营商个数。本着这种思路,边缘服务资源能力得到了一定提升。但是现有的运营商的边缘服务资源定价策略和分配策略还
学位
随着室内环境中基于位置的服务需求的快速增长,Wi-Fi信号指纹定位(以下简称指纹定位)作为一种主流的室内定位技术,凭借其简单的系统设备与较高的定位精度,正受到越来越多研究者的关注。构建指纹库的质量与数量对整个指纹定位系统有着至关重要的影响。目前,众多研究仍然使用接收信号强度(Received Signal Strength,RSS)构建指纹库,这种指纹库精度低,区域划分粒度大,无法满足高精度的定位
学位
随着科技发展,基于位置信息的应用服务充斥在人们的日常生活中。而这些应用服务都需要定位技术的支撑,这使得关于定位的研究越发的受到关注。同时,第五代移动通信(Fifthgeneration mobile communication,5G)的相关技术也开始与定位技术进行广泛的融合。目前,室外定位精度已基本满足用户的需求,而实现室内高精度定位仍具有比较严重的挑战。随着5G系统的标准化与应用,5G基站将会被
学位
在5G网络时代,业务需求和应用场景逐渐多样化,如果运营商为不同的业务创建不同的专用网络是不现实的,建设、运营和维护的成本会很高,网络运营商在收益和网络资源分配方面面对巨大挑战。因此,如何合理分配网络资源并改善网络运营商的收益将具有重要的研究意义。针对这一问题,本文提出基于对网络服务提供商的资源需求进行分析学习的网络资源分配技术,通过对网络资源的合理定价,优化网络运营商的收益,并以价格为杠杆达到合理
学位
近年来随着脑科学与计算机技术的不断发展,脑机接口作为新型人机交互技术逐步成为社会界与学术界的热门话题。从最初仅在医疗与科学领域的应用,到近来的商业民用化,再到未来连接元宇宙虚拟世界的畅想,脑机接口技术正快速进入到人们的日常生活中,尤其在残障人士的肢体恢复与改善、人员行动辅助与补充等场景下具有广阔的应用前景。本课题使用便携式单导脑电波采集设备,主要利用脑电伪迹信号特征,在低成本、低功耗嵌入式处理器平
学位
随着移动业务的快速发展,计算、存储和电池资源有限的用户设备已经无法满足高复杂度和高能耗服务的需求。移动边缘计算(Mobile Edge Computing,MEC)通过将计算、存储和服务功能迁移到网络边缘,使得用户设备可以将任务卸载到边缘服务器,从而减少用户设备任务的完成时延与能耗。如何进行高效的卸载决策和资源分配以降低任务的完成时延与能耗已成为重要的研究课题。本文对异构蜂窝网络中用户任务卸载以及
学位
随着移动网络技术的发展和广泛应用,无线网络不仅需要满足海量移动数据的使用以及高速率,同时还要提高服务质量,因此网络的高效管控是一个巨大的难题。传统网络的管控需要大量的人力物力,且效率也是一个问题。数字孪生技术使物理空间与虚拟空间相互交互,综合利用感知、运算、模型等技术,并利用软件定义,对物理空间实现了描述、诊断、预测、决策。可以为现代网络的管控提供的强大的技术支持。针对这些问题,本文深入研究了5G
学位
作为应对移动互联网和海量物联网日益增长的接入需求最具前途的技术之一,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术近年来受到了积极的关注。与传统的正交多址接入(Orthogonal Multiple Access,OMA)技术相比,NOMA系统具有更高的频谱效率、更快的传输速率以及保障更多的用户接入。NOMA主动引入用户间的干扰,其高频谱效率是通过增加
学位
智能反射面(intelligent reflecting surface,IRS)是一种新兴的,很有前途的B5G(6G)无线通信技术。它是由大量无源的或者有源的反射元件组成的大型二维阵列,可以通过改变信号的相位和幅度改善信号传输的环境,减少信道干扰。毫米波属于甚高频段,单跳通信距离较短,因此多跳的接力通信是毫米波通信的研究前景。IRS可以有效地控制信号的传递途径,包括相位,振幅,频率甚至偏振,而无
学位