基于生成对抗网络的视频中物体消除方法研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:d327315409
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频作为一种最常见的媒体信息目前已在各个领域都得到广泛的应用,与之相关的技术也在不断地发展更新,其中对视频中的某些物体进行消除也逐渐引起重视,并用于处理影视制作、视频合成等视频编辑任务,成为计算机视觉领域的主要研究问题之一。物体消除作为视频修复问题的一个子任务,目前还未获得足够多的关注,现有的工作也是将其直接视为补全问题进行相关处理。消除与补全的不同之处在于,消除需要相应的掩码来指示物体位置,否则会导致消除不彻底、视觉效果差等问题,然而目前公开的数据集并不包含此类掩码信息。并且对于物体消除任务来说,物体在视频的位置和形状具有一定的随机性,因此视频中存在大量的有效信息可用于消除后的破损修复,但是现有的工作中并未对这些信息进行充分利用。本论文从视频中的字幕消除出发,拓展到对视频中其他物体的消除问题,并进行了深入的研究,提出了相应的消除算法,主要研究内容可归纳如下:(1)本文提出了一种基于帧间注意力机制的视频中字幕去除算法,由字幕掩码提取网络和字幕去除网络构成。字幕掩码提取网络主要使用语义分割网络对视频中的字幕和背景进行准确的提取,字幕去除网络则使用编码-解码的结构,并对视频中的字幕进行实时去除。网络在掩码的指示下使用帧间注意力机制将视频中有效信息进行融合用于被字幕遮挡区域的重构。大量的实验表明,本文提出的字幕去除算法可以实时、准确地去除视频中的字幕,并且去除效果优于最新算法。(2)基于字幕消除算法,本文还提出了一种基于多尺度帧间注意力机制的视频补全算法。该算法使用生成式对抗网络的结构,生成器中使用两种不同的帧间注意力机制对视频帧各个维度下的特征进行帧间有效信息的充分融合,判别器则使用SN Patch GAN的结构,对补全结果进行全面的约束。该算法不仅可对视频中缺失区域进行补全,还可根据物体的掩码对其进行消除,并取得与目前最新的补全算法可媲美的结果。
其他文献
目前对复杂网络的研究大多是考虑驱动节点的选取,通过选取最少的驱动节点使网络达到预期的控制状态。由于网络可控时的最少驱动节点集是不唯一的,不同的控制方案下的网络能控性指数不同。对于一个大规模网络系统,如何选取驱动节点使其可控,且在可控前提下的能控性指数尽可能小是研究的关键,小的能控性指数意味着大规模网络系统能更快地达到稳定状态,并且在实际应用中有着重要意义。本文以传统的控制理论出发,引入图论的知识来
学位
期刊
在机器人本体的工程设计中,通常将RV减速器等刚性传动机构置于重负载、大惯量关节处,构成刚性关节,以确保机器人具有足够的刚度和基本的精度,将更紧凑轻盈的谐波减速器等具有柔性特征的传动机构置于轻负载、小惯量关节处,构成柔性关节,提升动力学性能并降低柔性的影响。由于这两种类型传动机构的特性存在较大差异,导致由其各自构成的关节的动力学截然不同,进而给这种关节驱动装置混搭的刚柔关节耦合联动机器人的整体建模、
学位
空间信号波达方向(Direction of Arrival,DOA)估计是阵列信号处理中一个重要的研究方向,其主要目的是对空间某区域目标信源进行精确的测向定位,这是雷达、声呐、通信等领域重要的任务之一。经典的DOA估计方法,如线性预测算法、子空间类方法、压缩感知方法等,均属于模型驱动类方法,该类方法先建立阵列观测数据与信号角度之间的数学模型,然后根据相应模型准则计算信号方向。模型驱动类方法实现精确
学位
随着现代社会对导航系统的精度和可靠性的要求越来越高,单一的导航手段已逐渐难以满足需求,导航技术朝组合方向进行发展是必然的趋势。全球卫星导航系统(Global Navigation Satellite System,GNSS)和惯性导航系统(Inertial Navigation System,INS)的组合能够实现两者之间的优势互补,因此得到了广泛的应用。然而在诸如多径信号、信号频繁遮挡以及卫星信
学位
小学生学习数学的时候,如果有几何直观的运用意识,可以将问题简单化,理解起来更加便捷。基于此,通过以图认数、以图明理、以图促思的方法,让学生可以快速理解数的概念、明确运算法则、缕清问题中数量。旨在培养学生以图学习数学知识、解决数学问题的能力。
期刊
随着电子对抗技术的发展和进步,常规雷达信号的生存环境受到了多方面的威胁,为了提高雷达生存能力,通常会采取一定的措施对敌方侦察设备进行干扰。高功率微波由于其独特的性质逐渐在雷达及干扰领域得到应用。在战场电磁环境愈发复杂的条件之下,如何从截获的复杂信号中检测并分离高功率微波信号,对于设计针对性的应对措施有着非常重要的意义。本文首先总结了复杂电磁环境的成因,对常见的雷达信号的时频域特征进行分析,针对高功
学位
本文的研究对象主要为海洋环境中的大气波导。它是大气的一种特殊折射现象,能够改变电波传播的方式和路径,对雷达等通信设备的性能有重要的影响。研究大气波导对日后我军提前获取战场环境电磁信息,掌握战场制电磁权具有重要的军事意义。本文主要围绕海洋上空大气波导的研究做了以下几个方面的工作:(1)基于海洋上空100m-3000m大气修正折射率较难获取的背景,本文第三章介绍了一种基于综合学习粒子群算法(Compr
学位
对二维图像的中粒度分割,即图像过分割或是超像素分割已经是一个成果丰硕的研究方向。在深度学习方法未成为主流之时,超像素分割通常被作为特征提取步骤之前的降采样步骤为图像完成预分块,降低后续分割任务的难度。在三维点云领域,与二维超像素分割相似的中粒度分割则通常被称为面片分割。面片分割大多依赖无监督聚类算法。通过对输入特征权重、聚类顺序的参数进行调谐,算法能够获得不同的的面片分割结果。对点云的分割是三维点
学位
进入21世纪以来,全球工业生产高速发展,新一代智能信息技术和工业生产相互融合。数据采集系统在工业生产过程中的普及,收集到了大量高维度的多变量工业时间序列数据。这些数据包含了生产过程中的工况调整、运行规律、和异常状态等丰富的信息。同时操作人员希望预先了解某些关键指标的未来变化趋势,从而实现性能预测、节能减排、提高生产效率等功能。因此,针对工业时间序列数据的预测任务成为了相关人员的主要研究对象之一。然
学位