图像语义分割中特征融合的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liongliong596
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像语义分割是计算机视觉中的核心任务之一,是场景理解的基石。在自动驾驶、图像编辑、图像检索、增强现实等方向中有着非常广泛且重要的应用。其任务简而言之是对自然图像中的每一个像素点进行分类。当前随着深度学习在计算机视觉的各类应用中取得了巨大的成功,大量基于深度学习的图像分割算法也相继被提出,其中最受瞩目的是2015年Long等人提出的全卷积神经网络。全卷积神经网络通过端到端训练从大量数据中学习任务相关的特征,在图像语义分割任务中取得了比较好的结果,成为了本领域的技术基石。但其学习到的特征依然面临着以下问题:1)表征多尺度物体的能力不足,不能很好的处理图像中存在的各种尺度的物体;2)感受野不足,对超出神经网络最大感受野范围物体的分割性能低;3)细节信息不足,对物体边缘等细节部分的分割结果不够好;4)特征的学习依赖于大量的像素级标注数据,标注代价很高。针对上述的不足,本文从融合不同信息以提升特征表达能力的角度出发,探索了图像语义分割中的特征融合方法。本文主要内容包括:(1)研究了多尺度特征对图像分割性能的影响。图像中存在各种尺度的物体,基于全卷积神经网络的方法一般只能从数据中学习到特定尺度结构的特征,对其他尺度的物体分割性能不够理想。本文设计了一个包含多个子网络的尺度自适应网络,使用尺度敏感的监督信息驱使每个子网络学习对应尺度的特征,并在尺度信息的指导下进行多尺度特征的融合,提升了特征表征多尺度物体的能力。在多个语义分割数据集上的实验表明:本文提出的尺度感知的特征融合方法能够有效应对图像中物体尺度的变化,极大提升物体尺度变化大的分割性能。(2)研究了全局感受野对于图像分割性能的影响。全卷积神经网络由于卷积局部连接性导致感受野受限,不能很好的处理超过感受野范围的物体或场景的分割任务。本文提出了十字型注意力网络,通过相似性感知的特征融合方法,高效的为每个像素点收集合适的全局上下文特征,获取全局感受野,在多个场景分割数据集上表现出很好的性能。(3)研究了具有丰富细节信息的特征对于图像分割性能的影响。神经网络中越靠近输出层的特征的语义信息越强,细节信息越少。为了增加特征中的细节信息,通常采用融合不同层特征的方式。但不同层的特征之间存在空间未对齐问题,影响细节信息与语义信息的融合效果。本文提出了空间对齐的特征融合方法,进一步提升了分割网络的性能,达到当前最好的分割结果。(4)为了减少图像语义分割对像素级标注的依赖,本文将弱监督学习运用于语义分割任务中,仅使用图像级标注数据训练分割模型。传统方法先通过训练分类网络构建图像级标注与少量像素间的对应关系,得到有标注的种子区域,然后使用种子区域训练分割网络。本文为了丰富像素级监督信息,提出了融合深度特征的区域生长弱监督语义分割方法。本文从种子区域出发,基于分割网络提取的深度特征进行邻域像素的相似性度量,实行更加鲁棒的区域生长,逐步的丰富像素级监督信息。实验结果表明融合深度特征的区域生长的弱监督语义分割方法超越了之前所有的弱监督语义分割方法,达到当前最好结果。本文分析了全卷积神经网络提取的特征存在的不足,提出了一系列特征融合的方法,有效的解决了单一特征表达能力不足的问题,极大提高了语义分割的性能,为后续图像语义分割相关研究奠定了基础。
其他文献
随着竞争环境的日益激烈、市场需求的日益复杂以及技术革新的日益迅速,企业创新需求与内部资源能力有限性之间的矛盾愈加突出,因此,越来越多的企业开始打破边界、寻求外部知识以解决这一矛盾,开放式创新成为了创新管理领域的重要发展方向。在开放式创新模式下,企业的创新能力不仅与自身的知识存量息息相关,也受到外部知识的极大影响。知识搜寻作为旨在解决问题或发现机会而进行的信息搜集活动,被视为一种有效的知识资源获取手
学位
市场经济的本质是一种理性经济,因为理性行为引领着经济发展的最终方向,但同时,非理性因素对市场行为的影响又不可避免,因此探讨市场经济中影响决策个体的非理性因素十分必要,这将有助于降低市场扭曲和缓解市场摩擦,对于建立和完善社会主义市场经济体制具有重要的现实意义。资本市场作为市场经济运行的轴心和中介,其本质是一个信息市场,信息披露是上市公司与其利益相关者建立契约关系的参考依据,也是资本市场的生命线。如何
学位
21世纪以来,随着腐败问题越来越多地与国家战略、政治外交、海外安全等议题挂钩,世界各国及国际组织均将反腐败以及反腐败国际合作提升至前所未有的战略高度。党的十八大以来,以习近平同志为核心的党中央高度重视反腐败国际合作工作,坚持反腐无禁区、全覆盖、零容忍。在新的时代,我国社会的主要矛盾已然发生了深刻变化,人民群众对美好生活的向往更加强烈,腐败与人民群众对社会民主、法治、公平正义期待之间的矛盾愈加凸显,
学位
现代经济发展的最大特点是持续增长中伴随着剧烈的结构变迁过程。西方世界的经济发展过程通常被概况为“卡尔多事实”和“库兹涅茨事实”。前者描述了总量经济的变化规律,后者则描述了伴随经济增长的结构变迁过程。由于中国的制度背景、要素禀赋和发展阶段均不同于西方主要发达经济体,因此,基于发达经济体的发展事实提出的平衡增长理论和结构变迁理论均不能完全解释中国改革开放以来的经济增长事实和结构变迁过程。本文旨在从产品
学位
随着全球经济贸易和金融一体化的深化,越来越多的研究发现,全球经济增长由全球金融周期驱动,而全球金融周期又在很大程度上由美国的货币政策驱动,这些政策对世界其他地区产生了重要的副作用,尤其是对新兴市场经济体的资产价格和资本流动。正在加速开放的中国亦深受其害,2008年金融危机以后,美联储连续四次执行量化宽松政策,到2019年的贸易战,美国货币政策的不确定性对中国经济增长产生显著影响。本文结合目前国内外
学位
郑珍是晚清著名的文字学家和诗人,目前学界对郑珍的研究大都集中在诗歌创作方面,对于郑珍在文字学方面所取得的成就并没有进行全面深入的考察和研究。本文在全面观照郑珍文字学著述的基础上,选取《说文逸字》和《说文新附考》作为主要研究对象,结合个字与同时代、同类型的他书进行对比,总结其文字学研究方法,挖掘其主要文字学思想,对郑珍的文字学研究做了相对全面的考察。我们认为,郑珍的《说文逸字》和《说文新附考》代表了
学位
随着我国资本市场的发展,以及自由化进程的高速推进,越来越多的外国机构投资者涌入中国市场并开展投资活动,由此逐渐成长为我国市场中重要的参与者。外国机构投资者不仅有助于提高市场稳定性,而且有动机参与公司决策并影响公司治理质量。在经济转轨和市场新兴的背景下,中国上市公司仍面临诸多治理挑战。一方面,上市公司股权集中度高以及国有控股比重大的特点使得中小股东利益被大股东侵占或掏空的风险更高;另一方面,管理层与
学位
化学链重整焦油技术不仅可以制备合成气,而且能够实现焦油的无害化处置和资源化利用,极具应用前景。怎样平衡氧载体的晶格氧活性和合成气选择性之间的关系是该技术的重点。本文以金属氧化物为氧载体活性组分,以煅烧后的白云石为钙基惰性载体,以甲苯为生物质焦油模拟物,开展了化学链重整制备合成气研究,旨在开发性能优良的氧载体,揭示氧载体中各组分对合成气选择性、氧载体反应活性、晶格氧转移特性的影响,优化合成气制备工艺
学位
近代民法转型,实质为法律移植或继受的过程。在传统中国虽然有相关规则,但数量上较少,体系上又往往归于刑法之中,不具备完整性与体系性。随着晚清修律的展开,传统法受到了西方法的冲击,另一套完全根植于西方社会的法律制度在中国建立起来,这种实体法的建立过程是本文所欲以解决的核心问题。以往对近代法转型,较多关注于土地、家族制度,对于契约法关注较少。这种制度在清代可以对应于田土与钱债两类传统案件,这两种类型案件
学位
大数据和万物互联时代的到来,对信息存储技术提出了更高的要求,具备高密度、快速读写等优势的新型存储技术备受关注。其中,硫系化合物材料具备丰富多样的结构调控能力,在相变存储、磁存储及忆阻存储等领域被广泛研究。近年来,该体系还表现出新奇的铁电特性,在低维稳定性等方面优于传统铁电材料,为解决后者在存储器应用中面临的微缩瓶颈、界面效应复杂等问题提供了新的思路。然而,目前硫系化合物铁电半导体的研究工作仍处于起
学位