基于帧间相关性的视频中行人检测

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:ty5004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于视觉的行人检测是计算机视觉领域的一个重要研究分支,它不仅具有重要的学术研究价值,也在民生领域中具有广泛的应用前景。现有工作大多是针对单帧数据集的研究,对于视频数据集未能充分利用其中的时序上下文信息。因此,研究如何利用视频序列中的帧间相关性提高行人检测的精度是未来的一个研究趋势。本文分别从多帧特征融合、多帧候选框融合、自适应选取关键帧三个方面针对夜间驾驶视角的视频行人检测数据集进行了相关研究,具体研究内容如下:(1)基于多帧特征融合的视频中行人检测方法。由于视频中行人目标尺度较小以及行人目标被遮挡情况的存在,检测任务变得富有挑战。为了解决上述问题,本文提出了一种基于多帧特征融合的视频中行人检测方法。首先,使用残差网络提取关键帧特征并利用单帧检测器输出初步候选框;接着,对每个初步候选框使用孪生网络进行跟踪以获取短期跟踪序列;最后基于短期跟踪序列进行多帧特征融合,并利用融合后的特征进行分类从而输出更准确的检测结果。实验结果表明,本文所提出的方法能够有效解决由小尺度目标、被遮挡目标等困难样本带来的检测性能下降问题。(2)基于多帧候选框融合的视频中行人检测方法。由于夜间场景中光照强度较弱,导致行人的召回率偏低。为此,本文提出了一种基于多帧候选框融合的视频中行人检测方法,以提高行人检测的召回率。首先,利用不同帧之间的行人特征信息计算帧间相关性特征,基于该特征通过运动模型对当前帧中行人检测候选框进行偏移处理,估计下一帧中行人检测候选框的位置;然后,将估计所得的候选框和下一帧中检测器输出的检测候选框合并,同时进行分类与回归,从而得到下一帧中的行人检测结果;最后,将视频序列中所有候选框进行轨迹关联,并对每个候选框进行置信度更新。实验结果表明,本文所提出的方法能够有效提高夜间场景下的行人检测性能。(3)基于运动状态变化的自适应关键帧选取方法。现有的视频中行人检测方法大多经过固定的时间间隔选取关键帧,无法满足变速运动场景的需求。针对该问题,本文使用孪生网络跟踪方法检测相邻帧之间的行人运动状态,使用长短期记忆网络编解码器判断图像区域相似度,从而实现自适应地关键帧选取。实验结果表明,本文提出的方法能够有效地提升变速运动场景下的检测性能。最后,本文搭建了一个视频中行人检测系统。该系统包括视频图像读取、关键帧选取、行人目标提取以及结果可视化模块,对本文提出的的视频中行人检测方法的检测结果进行可视化。
其他文献
钢纤维混凝土是应用最广泛的建筑材料之一,钢纤维混凝土中使用的钢纤维具有很高的抗拉强度,钢纤维和混凝土的相互作用弥补了混凝土抗拉强度低、韧性差的缺点。目前对于钢纤维混凝土的研究多是将钢纤维混凝土当成一个宏观整体来研究的,且对钢纤维和混凝土之间的相互作用研究的较少。本文通过数值模拟手段,研究了钢纤维对水泥基复合材料的阻裂机理以及钢纤维和水泥基复合材料之间的相互作用,为钢纤维混凝土的应用提供了一定的理论
预制节段拼装桥墩具有良好的自复位性能和极限位移能力,但其地震作用下的损伤机理尚不明确,传统的损伤评价方法无法准确描述预制节段拼装桥墩的地震损伤,如何准确合理的评估损伤状态是预制节段拼装桥墩全寿命周期抗震性能研究中的重要问题。本文为了得到适用于预制节段拼装桥墩的地震损伤模型,对其抗震性能和损伤机理进行分析,提出考虑桥墩自复位性能的地震损伤模型。本文对预制节段拼装桥墩进行三维实体有限元建模,比较了不同
学位
火炮各部件间的接触/碰撞与膛内时期弹丸-身管相互作用具有耦合关系,会影响到弹丸出炮口状态,进而影响火炮射击精度,通常在火炮动力学分析中都忽略了部件连接间隙与接触/碰撞关系。在此背景下,本文以某轻型牵引火炮为研究对象,充分考虑部件连接间隙与接触/碰撞关系,应用有限元法、数值计算、优化设计等方法对高平机特性与连接特性参量对弹丸起始扰动的影响等问题进行研究,以弹丸起始扰动来评估射击精度,为提高火炮射击精
危化行业装卸过程工况连续、复杂多变,面临着智能制造和数字化转型的挑战。数字孪生作为践行智能制造的关键技术,可以实现虚拟世界和现实世界的交互与融合。本文使用数字孪生技术对现有的装卸系统进行数字化转型升级,搭建数字孪生系统,以提升装卸过程的可视化程度,提高装卸作业的效率,保障系统的安全运行。首先,梳理危化行业智能装卸的业务流程和数字孪生技术的组成与应用,针对目前装卸系统存在的不足,设计智能装卸数字孪生
在当前通信技术发展的推动,特别是物联网技术的逐渐普及下,酒店万物互联的进程大大加快,智能化酒店需求不断提高。但当前酒店的管理模式、基础设施较为落后,智能化程度明显不足。特别是酒店客房门锁系统,仍然采用射频电子锁、密码电子锁、生物识别锁等方式,存在着安全性低、开发成本高、使用繁琐等缺点。针对以上问题,本文设计了一款基于近场通信技术的智能酒店门锁系统。本文依据当前国内外酒店行业的大环境,提出了一个基于
随着可再生能源电网接入比例逐步提高,其精确预测对提高新能源消纳和电网稳定性,以及降低系统规划运行成本具有重要意义。因此本文提出了基于极限学习机ELM和进化算法的可再生能源功率预测及其特征输入选取和网络参数两阶段优化改进模型。首先提出了基于二元遗传算法BGA的特征输入选取算法。如何选择可再生能源功率预测模型输入层数据一直以来都是一个比较重要的课题。二元遗传算法的编码特性使它得非常契合特征输入选取问题
随着海洋技术的不断发展,人们日益重视海洋的保护、开发和利用。声波在水中具有最远的传播距离,使得水声已成为海洋信息传感和传输的主要载体,水声技术受到人们广泛的关注和研究。光纤水听器是采集水声信号的传感器,其具有探测灵敏度高、抗电磁干扰等优势,从而成为探测水下声波的主要工具。然而在复杂多变的海洋背景噪声中,水声信号在传输、采集甚至接收中都会不可避免地引入一定的噪声,使得光纤水听器接收到的水声信号产生畸
定制式木门制造企业的生产模式属于典型的多品种、变批量模式。该模式由于产品品种的多样性、生产工艺的复杂性等因素,存在生产柔性不足、订单交付困难等问题。本文以木门生产车间为研究对象,结合数字化信息技术,设计研发出适合定制式木门柔性生产车间现阶段发展需要的管控系统。首先,梳理木门制造车间生产流程,从车间现状与存在问题出发,结合企业具体需求,提出车间管控系统的总体设计方案。其次,针对条形码技术在制造过程的
学位