基于分解表达的视频目标分割方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:tangweichao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于移动互联网的不断发展,人类的信息表达方式逐渐增多,静态的彩色图像已经不能满足人们的日常信息交流,随着抖音、快手和西瓜视频等社交软件的兴起,短视频已经成为移动互联网时代新的主流的信息传播方式。同时视频也广泛应用于军事、经济、科技和教育等众多领域,这些都导致视频的数据量呈现爆炸式的增长,每天人们都会产生数亿条短视频,人们对视频的操作需求也变得越来越高,这给研究人员提出了较大的挑战。视频目标分割是一项基础的计算机视觉研究任务,其目的是在整个视频序列中对前景对象进行持续的跟踪分割,它的本质是一种像素级别的分类任务,通过判断每一个像素点属于前景或背景来完成对每一帧图像的分割。早期的有监督视频处理方法完全依赖于人工,这会造成巨大的人力资源浪费,同时人工处理具有很高的不稳定性。本文致力于使用无监督的方法来训练视频目标分割模型,这种方法不需要标注数据,可以直接从现实世界中获取视频用于训练,而且得到的模型具有较强的学习能力。本文利用了颜色通常是稳定的这一特征作为监督信号,使用视频中的前一帧图像来重构后一帧图像,将重构图像与其真实的输入颜色图像进行比较计算损失。其实就是将前一帧的输入颜色图像按照一定规则传播到后一帧,再使用后一帧颜色的恒常性作为监督信号指导模型进行参数优化,传播过程中学习的是像素级别的时空对应关系。目前的无监督视频目标分割方法是通过对目标帧和参考帧之间的对应关系建模来实现的,这种对应关系只能保持时空一致性。然而,视频目标分割任务不仅需要两帧之间的时空关系,而且需要每帧的显著目标信息。为了挖掘待分割目标的显著性因素,本文提出了一种基于分解表达的视频目标分割方法,将现有方法中的对应关系分解为时空模块和显著模块,其在目标分割过程中既能维持视频帧之间的时间关系和空间关系,又能捕捉每一帧的显著目标。本文将提出的分解表达模型应用于DAVIS-2017和YouTube-VOS数据集,实验结果验证了提出方法的有效性。另外,本文将时空模块与显著模块获得的热力图进行可视化,分别评估它们学习到的视觉线索,进一步证明所提出模型的有效性。在时空模块中,感兴趣区域集中在物体内部,这表明时空模块可以捕捉视频帧之间的时空关系。在显著模块中,感兴趣区域分布在目标的边缘,说明显著模块捕捉的是参考帧中不同像素的显著性信息。
其他文献
随着社会对环保问题的日益重视,环保行业迎来发展契机,与此同时,国内环保企业面临外部和内部环境的双重压力。宏观环境对环保企业而言既是机遇也是挑战。作为技术密集型行业,吸引和留住人才是环保企业发展的关键,而在这其中,销售团队作为企业与客户沟通的桥梁,更为至关重要。因而如何制定高效的销售人员激励机制,吸引和留住优秀的销售人才,激发销售人员的狼性,为企业创造更大的价值,是所有环保企业亟需解决的问题。销售激
学位
真实世界里,很多材质都不是平坦的,中观尺度上有着复杂的自遮蔽、自反射等物理现象。针织衫温暖的质感、毛毡绒绒的质感,是中观尺度上光线在表面复杂物理过程产生的效果。在图形学的应用领域,如何渲染出足以欺骗肉眼的逼真场景一直是研究的重点。真实感渲染是目前许多行业,比如大型游戏、影视剧特效和广告等行业所追求的目标。要实现逼真的渲染,通常有两类方法:一类是用计算机对复杂的光线传播进行数学建模,要达到精密的建模
学位
近年来,电子商务成为促进国内大循环,畅通国内国际双循环的重要抓手。随着电商经济的发展,跨境商品交易也蓬勃发展起来,我国已成为世界第一大出口国。商家在进行进出口贸易时,必须向海关提供进出口商品的海关编码。海关编码是由国际海关理事会制定的一种国际通用的进出口商品归类体系,是对各种不同商品出入境应征/应退关税税率进行量化管理的制度。目前全球贸易量98%以上使用这一制度,海关编码已成为国际贸易的一种标准语
学位
国内旅游市场在近年来始终保持着高速成长的态势,其中网络便为中国人民的游客出行提供了前所未有的便捷。互联网旅游模式可以完成对旅游出行过程中涉及到的交通、酒店等进行整合,互联互通,创建出一个个完整的旅游产品,使得人们不用跑到线下旅行社,在网站上就可以完成对旅游产品的挑选、购买、在线支付、选座等功能。2020年受新冠疫情的影响,相关政府出台了疫情下的旅游政策,导致一些旅行社因为揽客不足而无法发团出行、销
学位
行政事业单位组织、管理并指挥着国家的各项行政事务,行使政府赋予的各项权力和职能,行政事业单位的服务水平是一个国家政府服务能力的集中体现。经济发展在任何时期都处于最重要的地位,近年来,比起经济发展的速度我们更加注重发展的质量,受疫情等因素的影响,基层各地经济的稳定性受到着威胁,除最直接的主体企业之外,行政事业单位的作用也不容忽视,并且越发重要。在当前的时代背景下,行政事业单位在迎接疫情带来的巨大挑战
学位
随着计算机视觉基础研究的不断发展,目标检测任务一直都是一个热点方向,在机器人设备、工业零件异常检测、监控设备异常人物检测等诸多领域充当辅助任务或主要任务,具有重要的现实意义。计算机视觉任务十分多样化,除了通用目标检测任务外,它还有一些其他的分支,比如人脸检测、行人检测、行人重识别等。由于目标检测在科研和工业中重要的地位,使其成为了近年来的研究热点。深度学习技术的发展速度越来越快,目标检测算法也随之
学位
利用Gleeble-3500热模拟试验机对18CrNiMo7-6齿轮钢进行了等温单道次压缩试验,研究了变形温度为900~1150℃,应变速率为0.01~5 s-1,应变为0.76的条件下材料的热变形行为;并且通过光学显微镜对热变形后的微观组织进行了分析。建立了唯象型Arrhenius本构方程,预测的峰值应力与试验数据具有很好的一致性。高温热变形过程是加工硬化与动态回复以及动态再结晶的竞争过程,在热
期刊
随着基于物理的三维场景渲染技术在影音娱乐、工业设计等行业领域的大范围应用,业界对渲染真实感的要求也越来越高。渲染结果的质量与物体表面纹理材质的表现力密切相关,获取可以精确模拟具有复杂结构的物体表面的材质资源是提高渲染质量的关键。在基于物理的渲染中,我们采用微表面模型将物体表面建模为若干个微观镜面的集合来模拟不同的材质外观,使用法线贴图保存微表面上每个点的法线方向。高质量材质的采集、表示和制作一直是
学位
近年来,基于深度学习模型在电子医疗健康记录(Electronic Health Records,EHR)中进行生存预测的研究成为热点。由于EHR的时间序列特性,很多研究都使用传统的循环神经网络进行模型构建,注意力机制也经常用在研究中,该研究可以帮助医疗从业人员更好地对患者进行临床决策。然而,目前在基于深度学习技术的生存预测任务中,现有的研究面临一些挑战:(1)在实际的医疗数据集中,经常出现很多缺失
学位
随着中国金融市场不断走向成熟,投资者面临前所未有的发展机遇。同时市场中的风险也在加剧,风险控制逐渐成为了一项极其严峻的现实问题。面对海量的、不断增长的金融数据,如何快速准确地识别股票中的风险,尽早地发现和识别股票行情中的异常状况有助于提前规避风险,减少经济损失,是股票投资中的一个充满挑战性的问题。行为金融学相关研究指出,中国A股市场中个人投资者占比较高,多元化的投资理念增加了股价的波动性,非理性泡
学位