基于域适应的无监督语义分割的研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:bassjhnn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着机器学习的发展越来越迅速,卷积神经网络在计算机视觉尤其是图像语义分割任务中的应用也越来越广泛。训练高精度的分割网络需要大量的标记数据,但实际应用中数据集的像素级标签难以获取。针对训练中缺少标记数据的情况,分割网络只能通过无监督学习实现微弱的精度提升。为了减少获取真值标签的开销并提高无监督语义分割的准确率,研究人员开始关注迁移学习及域适应策略。迁移学习利用公共大型数据集或其他易于获取真值的数据集训练神经网络,使其能够更好地用于当前数据集的无监督语义分割任务。但是由于不同域的图像风格不同、数据分布不同,导致域间存在严重的域偏移。域偏移使迁移效率低下,给图像分割带来了较明显的消极影响。因此研究人员开始采用域适应方法减小域差异,提升迁移学习的性能,增强分割网络学习域不变特征的能力。目前很多域适应方法采用生成对抗或自训练等机制达到了一定的效果,但它们在使用自训练机制时未能解决类不平衡问题,生成伪标签时未能考虑到所有的类别预测结果,并且它们都仅关注了全局层面的分布差异或局部类别的对齐。所以当前使用域适应算法的无监督语义分割网络仍表现不佳,分割精度有很大的提升空间。为了解决上述问题,本文提出了两种无监督语义分割任务中域适应算法的改进方法,来改善传统的域适应方法,提升网络的语义分割精度。本文的主要工作包括:(1)提出了一种熵值驱动的类平衡自训练方法(Entropy-driven Class-Balanced Self-Training,ECBST)。由于传统自训练方法未考虑到语义分割任务中的类不平衡问题,基于概率的类平衡自训练方法又无法充分利用分割网络的预测概率,因此本文利用熵值实现了类平衡自训练,解决了目前域适应中自训练方法的局限性。具体来说,ECBST以图像预测熵值作为置信度的评判标准,充分利用了分割网络的预测结果,并在伪标签生成时实现了类级别的类平衡像素筛选,扩充了高可信度的伪标签数据。ECBST作为独立的扩展模块,与当前先进的域适应方法结合,提升了原域适应的能力,使语义分割网络更好地用于无标签目标数据。(2)提出了基于全局特征和类分布对齐的多粒度域适应方法(Multi-grained Unsupervised Domain Adaptation,Muda)。该方法在ECBST的基础上进一步探索了伪标签在无监督域适应任务上的使用,将自训练融入了语义分割网络的训练过程,并且针对传统域适应方法未平衡好全局与局部对齐的问题,Muda实现了域之间的多粒度语义一致性。具体来说,首先本文从风格迁移和分割图对齐两个方面实现了粗粒度适应,减小了域间整体偏差。其次,本文开发了一种基于类特征中心距离的置信度度量来细化伪标签,实现了细粒度的类别知识转移。Muda利用多粒度域适应优化了语义分割网络的训练,提升了无监督语义分割的精度。(3)将提出的两种方法应用于GTA5→Cityscapes和SYNTHIA→Cityscapes两个合成图像数据集到实景图像数据集的迁移任务中,进行了无监督语义分割任务的实验验证。本文将ECBST和当前主流自训练方法进行对比,将Muda和当前先进的域适应方法做比较。实验结果表明,在不同的域适应方法中加载ECBST机制后,图像分割精度至少提升了2.95%;在不同的域适应任务上,多粒度域适应方法Muda改进了ECBST并结合了全局和局部对齐,对分割结果至少提升了9.6%;在不同域适应任务上使用两种方法解决类不平衡问题时,稀有类平均分类准确度至少提升了13.4%。
其他文献
网络赌博是指使用互联网和现代交易方式进行的具有营利目的且违反相关法律法规的赌博活动。网络高新技术的发展使得许多传统犯罪与网络空间相结合,进而演化出新的犯罪现象,网络赌博犯罪就是这样产生的。近年来的网络赌博呈现出多样化、复杂化、易参与化等趋势,是一个高发性刑事犯罪问题。作为一种利用现代信息技术的犯罪,网络赌博需要刑法加以规制。实践中,网络赌博罪并不是一个刑法罪名,虽然网络赌博和我国刑法第303条在本
刑事证据种类是我国传统刑事证据学理论中的概念和制度。在“证据学”向“证据法学”转型阶段,我国现有刑事证据种类理论与实践“两张皮”现象突出,证据种类限制证据资格的功能形同虚设。对此,学界提出取消证据种类在立法中明文规定的立法体例、借鉴英美法系将“证据三分”或者借鉴大陆法系引入证据方法的概念作为证据种类的划分依据的完善措施。与大多数对策性研究不同,本文虽着眼于“刑事证据种类”,但以小见大,并未局限于刑
自然语言中充满了因果关系(Cause-Effect)的表述,每种现象或事物都有其原因,人们通过因果关系来描述事物运动和发展的规律。当前互联网上存在海量新闻数据,涉及大量事件相关的知识和信息,识别事件之间的因果关系能够帮助挖掘新闻中蕴含的逻辑知识,并刻画事件之间的发展逻辑。因此,本文主要研究对新闻中的事件进行因果关系抽取,并构建相关的事理图谱。针对事件识别任务,以往的研究工作集中在改善模型对文本的建
随着物理组件和软件组件的深度交织以及互联异构物联网设备的急剧增加,信息物理系统的设计变得越来越复杂。尽管研究人员已进行大量研究,提出了各种模型驱动软件工程方法,来提高信息物理系统设计的生产效率,但缺乏结合人工智能控制策略,从宏观层面对系统进行描述和建模,并支持异构设备和平台的方法。因此,本文提出了面向智能物联网的信息物理系统建模语言AIo TML,来统一物理环境、信息环境的建模和物联网设备的运行,
领导干部的晋升是由很多因素综合作用的结果。本论文是在众多影响领导干部晋升因素中选取人力资本进行研究,试图分析人力资本多大程度影响领导干部晋升。本论文在文献分析和内容分析的基础上,以人事行政理论、彼得原理和社会网络理论为理论依据,选取云南省16个州市副厅级以上领导干部为研究对象,基于现有理论成果提出相应假设,构建了二元logistics回归模型、多元线性回归模型,通过分析其简历,利用SPSS软件分别
与传统VDMOS、沟槽MOS器件不同,功率器件屏蔽栅沟槽(SGT)MOSFET在沟槽中栅极的下方加入了多晶硅屏蔽栅极,并且与源极的电位相同,在垂直耗尽层的基础上又引入了水平方向的耗尽层,能获得近似梯形的电场分布,因此在通过掺杂保证器件导通电阻较小的同时,又能获得更优异的击穿特性;屏蔽栅极同时有利于降低器件的米勒电容,提高器件的开关性能。因此,SGT-MOSFET在中低压领域具有明显的竞争力,广泛应
近年来,随着互联网的普及与发展,在线广告已经成为社交媒体、搜索引擎、电商平台等互联网商业应用和服务的主要盈利方式。在线广告的目标是通过互联网产品,搭建消费者和商家之间信息的通道,为互联网消费者提供符合用户需求的商品信息,为商家宣传商品进而获取客户。在线广告系统中,对于广告主而言,如何将有限的预算合理分配给不同的媒体和渠道,进而通过这些途径给用户投放广告,最终获取最大收益,一直以来是一个十分重要的问
随着改革开放带来的经济发展,我国城市化建设步伐不断加快,国家在社会建设中对土地的需求日益旺盛,集体土地被国家征收不可避免。集体土地征收中失地农民权利现状如何?法律规定与执行是否一致或者冲突?我国相关法律制度存在哪些需要完善之处?文章以贵州省黄平县农民土地征收执行现状和失地农民权利保护现状为例进行探索。全文除绪论外共分四个部分。第一部分主要是基本理论概述,为论文立论提供理论支撑。一是对集体土地征收涉
一、利用手持技术探究二氧化碳的温室效应关于二氧化碳的温室效应,在初中化学教材鲁教版第六单元第三节和人教版七年级初中生物第五章第二节中都有涉及,但是两版教材都是直接给出科学界存在的观点,化学教材也只给了"美国夏威夷冒纳罗亚山顶空气中二氧化碳含量随时间的变化曲线",均没有给出
期刊
近年来,车辆保有量的增多导致公有车位资源愈加紧张。相反,私有停车场存在大量空闲车位,这导致了资源的巨大浪费。针对此问题,智能停车方案应运而生。然而,智能停车方案带来停车便利的同时也引入了新的安全性问题,例如:隐私泄露和公平性。现有的智能停车方案都是基于中心化设计,其中心服务器易受单点攻击,导致用户数据的丢失。而具有去中心化,不可篡改,可公开验证等特性的区块链系统为智能停车场景赋予了新的能力。不幸的