【摘 要】
:
深度学习的发展使得图像目标检测问题取得了突破性进展,而对基于深度网络视频目标检测问题的相关研究还处于初步探索阶段。由于数据采集设备自身的局限性,视频中存在一些不同于图像的问题,如虚焦、运动模糊、遮挡、罕见姿态等,同时连续的视频帧在时序上构成上下文关系,具有图像所不具备的时序信息。本文主要在图像目标检测的深度网络框架之上,利用视频在时序上的帧间相关性,提升难分视频帧的检测效果,并通过融合包含时序信息
论文部分内容阅读
深度学习的发展使得图像目标检测问题取得了突破性进展,而对基于深度网络视频目标检测问题的相关研究还处于初步探索阶段。由于数据采集设备自身的局限性,视频中存在一些不同于图像的问题,如虚焦、运动模糊、遮挡、罕见姿态等,同时连续的视频帧在时序上构成上下文关系,具有图像所不具备的时序信息。本文主要在图像目标检测的深度网络框架之上,利用视频在时序上的帧间相关性,提升难分视频帧的检测效果,并通过融合包含时序信息的多尺度特征图,进一步提升视频中小目标的检测能力,本文还将提出的方法应用到遥感视频的飞机检测中。主要工作如下:(1)提出了一种基于自适应时序修正机制的视频目标检测方法。注意力机制是处理序列问题的常用手段,本方法受注意力机制启发,在视频时序上建模,先利用基础深度网络得到视频中各帧图像的全局特征,然后挖掘相邻帧间局部邻域特征的相关性,以自适应加权方式修正各帧的局部特征,修正后特征包含视频时序上的上下文信息,具有更好的鲁棒性。通过在Image Net VID数据集上验证分析,表明本方法优于通过Faster R-CNN(Faster Region-based Convolutional Neural Network)对视频逐帧进行目标检测的方法,在m AP上提升了8%。(2)提出了一种基于时序多尺度特征融合的视频目标检测方法。特征金字塔网络可以有效整合多尺度特征图的优势,很好地体现在小目标检测方面,本方法借鉴其结构机理,先利用深度特征提取网络得到视频中每一帧图像尺度不同的多级全局特征,然后使用自适应时序修正机制,利用相邻帧间局部邻域特征分别对各尺度特征进行修正,再通过上采样和横向连接将多个尺度修正后的特征图进行融合,融合后特征既包括视频的时序信息,又融合了含有局部邻域相关性的各帧图像多尺度信息。通过与DFF(Deep Feature Flow)等方法的对比实验表明,我们提出的方法提升了视频序列里小目标的检测能力,本方法的m AP比DFF方法提高了1.8%。(3)针对遥感视频分辨率过高、目标较小、尺度变化较大的特点,详细阐述了处理遥感视频目标检测问题的整体流程,介绍了遥感视频帧读取、分块、数据增强、合并等处理方法,并着重分析了不同分块方式对于在分块边缘处目标完整检测的影响。最后,以两段遥感视频为例,分别利用(1)、(2)提出的视频目标检测方法,对含有飞机目标的遥感视频进行了测试,实验结果表明我们的方法能很好地检测出遥感视频中的飞机目标,对小目标也有较好的检测效果。
其他文献
全文包括引言以及正文三个部分、结语。引言。我国吉布提军事基地于2017年遭受日本蛙人的非法侦查,我国外交部对此事件向日方进行了严正交涉。此事件充分暴露出我国海外军事基地刑事管辖权制度的缺陷。因此从国际法的角度研究我国海外军事基地刑事管辖权的性质,完善我国海外军事基地刑事管辖权制度,具有重大意义。一、海外军事基地是地缘政治的衍生产物,海外军事基地对于东道国、租借国均具有重大的经济意义与战略意义。对于
高速列车系统是设备设施之间高度耦合的大型机电系统,其结构呈现出高度网络化特征。一旦设备设施发生故障,设备设施之间高度的耦合关系可能导致故障的迅速扩散,造成系统整体功能状态下降,影响高速列车系统的安全运行。为了表征设备设施发生故障后高速列车系统仍能保持其自身功能状态的能力,有必要针对高速列车系统弹性评估问题展开研究。本文基于高速列车系统功能结构特征,分析了高速列车系统弹性影响因素,构建了表征系统功能
习近平总书记在党的十九大报告中强调“加强社会治理制度建设,完善党委领导、政府负责、社会协同、公众参与、法治保障的社会治理体制,提高社会治理社会化、法治化、智能化、专业化水平。”(1)一直以来,党中央高度重视我国社会治理的法治化建设,与此同时,国家的整体治理水平也在不断提高,社会主义法治化、现代化治理卓有成效。但是在较长时期内,社会治理工作的重点和难点仍广大乡村地区。当前农村基层党组织存在的软弱涣散
《围城》被誉为“新儒林外史”,是中国文学史上一部重要的讽刺小说,运用了多种修辞方式是这部作品的一大语言艺术特色,其中作者对双关语的运用形式巧妙,意义深刻。其可译性也是学者们所探讨的一大问题,其中比利时的语言学家Dirk Delabastita提出了10种双关语的翻译策略,张南峰教授对其进行了相关阐述。本文在此研究的基础上,通过文本分析法,整理了《围城》中双关语的维吾尔语翻译,并从类型、翻译及其表达
义务教育阶段教师校际交流政策是提高区域教育质量、提高区域内教育均衡度的重要措施,任何政策成功与否跟政策落实是否到位有直接关系。虽然各地区教师校际交流的政策措施已
目的:比较不同等级体重指数(Body Mass Index,BMI)腘绳肌腱前交叉韧带重建术后的膝关节功能及跳落实验的差异。方法:本研究是一项回顾性研究,2016年9月至2018年1月于我院收治的接受由同一术者关节镜下前交叉韧带重建术治疗的单纯前交叉韧带(Anterior Cruciate Ligament,ACL)损伤的患者作为研究对象,共27例。其中男性24例,女性3例;左腿16例,右腿11例
由于无线移动设备使用量不断增加,无线网络的攻击方法也随之逐年增多。而从2017年密钥重装攻击漏洞被披露以来,无线局域网身份认证协议的安全问题又一次受到安全研究从业人员的广泛关注,无线局域网身份认证协议存在的前向安全性、降级攻击等安全问题也逐渐被研究人员提出。因此针对无线局域网身份认证协议的安全性研究显得尤为重要。本文主要对WPA2身份认证协议存在的三个问题进行分析与改进。问题一是使用Wi-Fi口令
洪水作用下的基础过度冲刷是桥梁水毁的主要原因。天然河流中发生的洪水均为非恒定水流,在非恒定水流作用下,桥梁基础局部冲刷发展速度随水流强弱而变化,甚至在落水阶段出现冲刷回於现象。但现有的桥梁基础冲刷设计理论与管养方法均是基于恒定水流作用下的局部冲刷研究成果建立的。本文对非恒定水流作用下的桥墩局部冲刷过程开展研究,在总结已有冲刷监测技术的基础上开展基于超声波技术的局部冲刷监测系统研发,在明渠玻璃水槽中
近年来物联网和人工智能技术影响了人类社会多个方面。随着深度学习的迅猛发展,计算机视觉也成为了目前人工智能领域发展较快的技术,其应用领域也在不断扩展,如果和体育运动相结合将会带来很好实际价值。传统的运动辅助系统引入到体育训练时,通过传感器等设备监控运动过程获取运动员训练信息,可以帮助运动员对技术动作进行回顾分析,但传统系统需要配备多个传感器设备且提供的运动信息有限。本文基于深度学习算法研究一种新的运
目的对人体踝关节外侧副韧带的定量解剖及与周围骨性标志的解剖学测量,为踝关节外侧副韧带的重建手术提供理论参考。方法选取30具经福尔马林处理好的正常成人踝关节标本,对外