基于目标检测的形状感知特征实例分割

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:robinchen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前的实例分割方法主要分为基于目标检测的方法和基于语义分割的方法。以Mask R-CNN为代表的基于目标检测的实例分割方法的分割准确度通常高于基于语义分割的实例分割方法。因此,本文以目标检测算法作为基本框架搭建实例分割模型。然而,现有目标检测器的预测端都为结合RoI池化(Region of Interest Pooling)的全连接层或3×3预测核,这两类预测端都存在与多尺度目标特征不对准的问题,即不能准确捕获用于检测的多尺度目标特征。尽管基于特征金字塔方法的目标检测器可以减轻该问题,但3×3预测核和RoI池化仍难以检测很小的目标,且前者对过大目标的检测结果也不尽人意。实例分割模型除了底层的目标检测算法框架存在问题外,更重要的是,用于训练的数据集图像中的实例间存在严重遮挡问题,导致实例分割成为极具挑战性的计算机视觉任务。对于目标检测存在的预测端与多尺度目标特征不对准的问题,本文提出注意力指导的多尺度卷积预测核匹配不同尺度的目标。为了提高检测效率,设计了显著区域识别模块用于预先识别出图像中大概率存在目标的区域。对于设计的检测模型在训练过程中易于出现难负样本(Hard Negative Sample)的问题,提出了新颖的IoU自适应损失函数。此外,为了增强网络特征表达能力,提出交叉下采样特征增强方法,将所有的中间层精细特征融合到高语义特征层并且保留目标空间布局。对于实例分割模型难以分割目标实例间遮挡区域的问题,本文提出可学习形状感知特征的实例分割模型。具体地,针对不同类别实例间的遮挡问题,提出区域特征类同(Affinity)学习更具辨别力的特征表示;针对同类实例间的遮挡问题,提出特征方向预测方法学习实例中像素相对于实例中心的位置信息。通过结合上述方法,实例分割模型可更准确地预测实例形状。实验结果表明,结合多尺度训练方法,本文提出的一级(One-stage)目标检测器在MS COCO 测试集上取得45.3 AP(Average Precision)与15.4FPS的运行速度(测试图像尺寸为512×512);准确度超过当前所有的一级检测器并且与使用大尺度图像训练的二级(Two-stage)检测器也可比较。基于形状感知特征的实例分割模型相比于其它方法更有效地改善了实例间遮挡问题并在分割准确度上超过Mask R-CNN 2.5 APmask,同时也在Cityscapes数据集上展现出较好的泛化能力。
其他文献
太平洋经向模(PMM)作为一种由海温和风场共同定义的气候模态,反映了大气与海洋之间的相互作用。PMM的海温梯度呈经向,成熟期为北半球春季,其最大的海温异常往往出现在东北太平洋。本研究发现在TC高发季节(6–11月份)内,PMM指数与西北太平洋强TC频数以及登陆中国TC频数都具有显著的正相关关系。并且这种年际关系是独立于已知的两种厄尔尼诺-南方涛动(El Ni(?)o-Southern Oscill
随着我国经济的快速发展和城市化进程的加快,空气污染物排放量增加,空气质量问题日益严重。近年来雾霾天气的频发,严重影响人们的交通出行、日常生活和身体健康,PM2.5的污染问题引起了公众和政府的广泛关注,对细微颗粒物的时空分析与监测对其污染的预防与治理十分重要。本文首先利用南京与北京地区2014年5月1日~2019年10月31日的PM2.5监测数据、气溶胶光学厚度(AOD)反演数据以及同期MICAPS
随着我国的科技发展,计量测试、科学研究和生物技术等领域对温度环境提出了更高要求,需要恒温槽来提供恒定温场。恒温槽是以液体为导热介质,通过温度控制系统以及搅拌装置,在内部形成均匀稳定的恒定温场。目前市面上常见的恒温槽主要采用以电热丝为加热装置、以压缩机为制冷装置的结构,本文利用半导体制冷技术代替电热丝与压缩机,设计了一种体积小、性能高、成本低、便于携带的恒温槽。首先,根据恒温槽的工作原理,对恒温槽系
虚拟手术是虚拟现实技术在医学领域的典型应用,它通过计算机生成虚拟环境来模拟手术过程中可能出现的各种现象。在虚拟手术中,软组织模型是人体器官与手术器械交互的基础,其优劣性直接影响着虚拟手术的成功率。然而,软组织是一种具有复杂性质的特殊弹性材料,这导致了软组织模型的精度和实时性难以协调。为了解决上述问题,本文主要完成的研究工作如下:(1)为了真实再现软组织受力变形,提高虚拟手术的精度和实时性,有必要对
针对中国冬季气温异常的研究往往关注其自身及相关影响因素的年际、年代际变化。目前越来越多的研究开始关注季节内振荡特征,但关于次季节与其他尺度相互作用对冬季气温异常的影响研究还不多,因此本文通过分析诊断1959-2011年的逐日观测资料和再分析资料,对中国冬季气温的次季节尺度振荡结构及其演变特征进行研究,并且运用温度方程诊断了不同尺度相互作用对冬季气温年际变化的影响,探讨与次季节尺度相关联的尺度相互作
水体中油类污染严重影响生态环境和人类身体健康,如何有效控制水体中油类污染已经成为当前研究的热点。利用秸秆材料作为吸油剂,吸附去除水体中油类污染物是常用的去除方法,但直接利用秸秆材料作为吸附剂吸油容量低,将秸秆进行改性是常用的提高吸附容量的方法。本论文选取廉价易得的红麻秸秆作为研究对象,通过物理和化学预处理以及表面化学改性和物理结构改性制得了两种吸油材料KAPKS和NNRKS,通过SEM,FT-IR
四旋翼无人机作为多旋翼无人机的一种,具有结构简单和可垂直起降等优点,应用极为广泛。基于机器视觉的应用研究调研,本文将机器视觉应用到四旋翼无人机上,开展了基于机器视觉的无人机的研究设计及调试实现。整个系统平台由飞控平台和视觉单元两个核心部分组成。飞控板采用STM32处理器,并板载陀螺仪等传感器,负责实时估算无人机的位姿信息和驱动旋翼运转,为无人机的稳定飞行提供基础。接着研究了四旋翼的飞行原理,利用牛
各式各样的斑图普遍存在于自然界中,可分为形成于热力学平衡条件下的斑图或远离热力学平衡条件下的斑图.对于第一类斑图的形成通常我们可以用热力学平衡态规律加以解释;而对于第二类斑图的研究逐渐发展成为非线性科学领域的一个分支–斑图动力学.本文主要研究扩散影响下捕食系统的动力学行为.从理论角度分析Turing不稳定产生的条件,并用数值模拟的结果验证在Turing参数域中可以生成各种各样的时空模式.本文的具体
针对目前京津冀地区面临的严峻大气污染问题,本文对该区域主要污染物PM2.5与O3进行研究分析。主要内容包括:利用2014~2017年京津冀区域空气质量数据,结合同期地面常规气象资料、全球NCEP/NCAR再分析资料,主要分析了PM2.5与O3浓度的时空变化特征,探讨了气象条件对PM2.5和O3污染形成的影响;并分别对PM2.5和O3重污染高发季节的污染过程及大气环流背景进行重点分析,在此基础上与同
尽管近些年来基于相关滤波与深度学习的跟踪方法已经取得很大进展,但是依然面临跟踪速度与跟踪精度不能同时满足导致在实际场景中应用的问题。其中主要问题就是传统的孪生网络跟踪算法由于其网络模型太浅、表征能力有限使得模型判别性较差。为解决上述问题,本文主要研究基于全卷积孪生网络的跟踪算法,论文贡献主要包括以下两点:(1)在本文中,首先利用修改后的表征能力更强的VGG网络作为特征提取的网络,然后利用一个双重注