基于金字塔网络调制的半监督视频目标分割算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:nihaoalinlin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频目标分割旨在从复杂的视频场景中提取出感兴趣的目标,并对其快速精确的分割。然而,在实际环境中视频目标分割仍然面临着许多外界干扰因素导致的困难,尤其在多个相似目标共存时,视频目标分割可能会更具有挑战性。因此,为了处理复杂视频场景下单目标和多目标的分割问题,本文提出了基于金字塔网络调制的半监督视频目标分割算法,主要研究工作如下:针对目标尺度变化,颜色不均匀等复杂的视频场景,提出一种基于金字塔池化网络调制的半监督视频单目标分割算法。首先,通过调制网络的一次单向传递以使分割模型适应给定目标的外观特征,具体而言,从给定目标的视觉和空间信息中学习一种调制器,并通过调制器调节分割网络的中间层以适应特定目标的外观变化和位移信息;然后,通过多区域上下文融合的方法,在分割网络的最后一层中聚合全局上下文信息;最后直接融合分割网络高低层的特征信息,以弥补分割网络的最后一层对于目标细节信息的缺失。所提出的半监督视频目标分割方法是一个端到端训练的分割网络。大量的实验结果表明,所提方法在DAVIS 2016和DAVIS 2017数据集上的性能与较先进的使用在线微调的方法相比,可达到相竞争的结果,并在单个GPU上以每帧0.14s的速度运行。针对视频中多目标分割效果不明显的问题,本文进一步提出一种基于双重金字塔网络调制的半监督视频多目标分割算法。本文在分割网络的最后一层后面加入逐步融合高低层特征信息的思想,具体而言,通过横向连接的自左而右结构,在所有尺度中构建高阶语义特征图,以充分融合低层特征中的目标位置和细节信息以及高层特征中的强语义信息,从而达到改善模型分割效果的目的。通过实验表明,所提方法有效地提高了上文方法中多目标的分割精度,在DAVIS 2016和DAVIS 2017数据集上的分割精度分别提高了0.9个百分点和2个百分点。此外,本文也研究了算法实时性的问题,通过加入大规模数据训练和使用轻量级网络,分割模型可以在单个GPU上以每帧0.06s的速度运行,增加了分割算法的可实用性。
其他文献
图像分割是医疗影像分析中的重要环节之一。有效的脑图像分割有利于医生临床观察及诊断,从而辅助医生发现病灶区域,并制定更加积极有效的治疗方案。近年来,随着机器学习技术
随着信息科学技术的不断发展,人们对于个人信息的保护愈发地重视,所以人们迫切地需要一种可靠且方便的身份识别技术。随着计算能力变强,生物特征识别技术的优势受到广泛关注,
在工业生产和制造过程中,对工作环境要求比较苛刻的设备,尤其是军用设备和汽车电子,在产品交付和使用之前必须经过严格的筛选,使它们满足具体的环境要求。其中的振动实验是必不可少的筛选试验之一。3D远程监控系统克服了传统实验过程中实验人员需要进入空间小、噪声大的实验室并且利用大量时间去查看进行振动设备的运行状态的弊端,是一个给实验人员提供了更加便捷、远程、可以追溯故障率的监控系统。本文从实际应用角度出发,
目的:研究Brg1蛋白在肝脏纤维化(liver fibrosis)过程中的作用及其可能机制。方法:1、利用数据库数据分析正常肝脏组织和肝纤维化组织(肝硬化和肝癌患者临床样本)中Brg1蛋白表达量的差异。2、在活化的肝星状细胞中,高、低表达Brg1,检测肝纤维化相关基因表达差异。3、在人肝星状细胞LX-2中高、低表达Brg1,检测TGFβ/Smad通路中关键蛋白的表达变化。4、体外构建慢性肝损伤动物
中文包含很多多义词,结合不同的语境可以表达截然不同的意思。词义消歧的概念是针对计算机在自然语言处理领域中的应用提出来的。期望通过算法模型,使计算机明确语境并自动选
改革开放40年来,广东省经济高速增长,传统要素的红利逐渐耗散,经济增长的动力迫切需要从过去的要素驱动与投资驱动切换到以创新驱动为主,否则动力不足将成为阻碍广东经济增长的严峻挑战。十九大报告明确提到实施创新驱动发展战略主要就是依靠科技创新和制度创新。广东省政府也多次提到要依靠科技创新和体制机制创新来夯实广东经济高质量发展的基础。因此,科技创新和制度创新对广东省的经济增长具有十分重要的意义。本文综合运
Energy consumption and resource utilization in a data center is an issue that preoccupies small and large business managers.Studies were well conducted to answe
目的:本试验的主要目的是探讨基于推拉模型的虚拟现实技术在弱视患儿临床应用的可行性,评估其提高弱视患儿视力,改善患儿双眼视功能的效果。方法:采用随机对照试验研究,收集2
SVM是一种监督学习模型,可以用于数据的分类、回归分析和异常值监测。其建立在统计学习的VC维和结构风险最小化原理的基础上,广泛应用于模型识别、人工智能等领域中。作为机器学习的完全监督二分类模型,通过特征空间中的间隔最大化构造凸二次规划的最优化算法。在解决非线性可分问题时,SVM借助核映射,将非线性问题转化为希尔伯特空间中的线性可分问题。本文主要以二分类支持向量机为研究对象,针对SVM的局限性,融合
随着人类社会的发展,现实世界中诸多决策问题趋于复杂化,以单个目标所构建的数学模型常常不足以描述问题的全部特征,因此实际问题的数学模型常常含有多个求解目标,即多目标优