局部与整体深度特征目标跟踪算法

来源 :中国科学院大学(中国科学院光电技术研究所) | 被引量 : 0次 | 上传用户:cain_long
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪作为计算机视觉中的一项关键基础任务,以其重要的基础理论价值和广泛的应用需求一直以来备受关注。由于目标在视频序列中的一系列变化,如遮挡,形变,光照变化等,使目标跟踪长期面临着巨大的挑战。为克服这些挑战,随着机器学习与人工智能的快速发展,很多结合智能技术与目标跟踪的算法被相继提出推动了目标跟踪的发展,使其日益成为研究热点。目前,在深度学习领域中,主流的跟踪算法采用孪生网络的范式,通过模板与搜索区域的度量来识别和定位目标。该方式网络结构简单,同时兼顾了精度与速度,取得了很好的效果。但是由于孪生网络特征匹配的特性,其严重依赖于特征的表征能力,需要强大的深度神经网络来提取特征。并且当目标出现遮挡,变形时,跟踪精度降低,甚至会导致跟踪漂移。为了解决上述问题,本文主要针对深度特征的全局语义结构信息与局部子块部位信息进行研究,利用局部信息来弥补全局信息的不足,同时结合图网络,注意力机制来提高跟踪精度与鲁棒性,主要包括以下三个部分:1、提出了语义与上下文集成的目标跟踪算法,通过深度网络分别提取和构建目标的全局特征与局部特征,并将它们进行有机聚合,局部特征具体描述目标,全局特征语义抽象表征目标,从而构建既精确又鲁棒适应的目标表示,二者相互反馈监督,实现目标遮挡变形等挑战下的跟踪;2、提出了中心抑制图卷积目标跟踪算法以充分挖掘子块局部特征间的相互关系,研究构建子块特征的图网络,利用余弦相似度与距离先验构建深度特征的图网络模型与其邻接矩阵,使用图卷积对深度局部特征进行自适应地融合,利用周围的上下文信息弥补目标变化的缺失信息,有力增强目标表示,提升跟踪性能;3、提出了注意力机制目标跟踪算法将目标深度特征与注意力机制相结合,对模板和搜索区域同时实现自注意力与互注意力,使得子块特征,模板与搜索区域的信息能够相互融合。并将现有的互相关计算方式替换为互注意力的形式,考虑特征节点之间的相关性,进一步提高网络的性能。我们在多个公开数据集上,与当前的主要跟踪算法进行验证比较分析,提出的算法均达到了当前先进的性能,例如在VOT2016上,语义与上下文集成目标跟踪算法与中心抑制图卷积目标跟踪算法的期望平均重叠(Expected Average Overlap,EAO)分别为0.541和0.542,远超其他算法。而注意力机制目标跟踪算法在无人机数据集上成功率与精度分别为70.3%与90.1%,相比于其他算法,均提高了2%以上的性能。大量的实验对比分析表明本文提出的算法具有稳定的跟踪性能,达到了实时性要求,验证了算法的有效性。
其他文献
在传统光学望远镜中,望远镜观测口径的大小是影响其分辨率的最关键因素之一。在理想状况下,当观测波长一定时,口径决定了望远镜系统的探测分辨率。而实际上,受限于加工工艺、制造材料、制造成本等因素,光学系统的孔径增加会极大地提高制造成本。因此,基于多个小望远镜相干合成等效大口径望远镜的多孔径相干合成成像技术应运而生。在多孔径相干合成成像中,共相误差问题是最为关键的问题之一。共相误差的产生是由于不同孔径间带
学位
随着智能设备的普及,针对高分辨成像应用捕获并再现真实世界物体的颜色、光泽和纹理是必要的。由成像技术和光谱技术相结合的高光谱成像技术可以同时获取物体二维空间信息和光谱信息,在对地遥感、空间探测、艺术保护、农业以及其他科学和工业领域得到广泛应用。然而,传统高光谱成像技术面临的主要问题是:成像系统笨重,难以实现平面化和集成化。超表面由于其平面化结构和亚波长尺寸等特点可对光波相位、振幅、偏振等光学特性进行
学位
光谱成像探测技术结合光谱分析技术与成像技术,能同时获取目标的空间信息和光谱信息以完成对目标的探测。因具有非接触、精准探测等多项优点,光谱成像探测技术现已在天文遥感、医学诊断、食品安全检测、军事监测等多个领域得到广泛应用。然而,传统光谱成像系统却由于其系统体积较大、需要光谱扫描采样时间,导致该系统不符合小型化、轻量化、便捷化的发展趋势。为解决上述问题,学术界提出一种基于超构表面与压缩感知算法的微型光
学位
随着信息社会的发展,集成电路得到了越来越广泛的应用。光刻机是制造集成电路的核心器件,光刻机性能能否提高决定着集成电路能否朝着下一个节点发展。由于集成电路是分层的立体结构,掩模版与硅片之间的对准精度十分关键,因此光刻对准技术至关重要。为了部署先进光刻机的发展,进行高精度对准方法的研究有着重大的意义。在众多的光刻对准方法中,荷兰ASML公司应用于先进的极紫外光刻机中的SMASH对准方法对于光刻对准系统
学位
超构表面是一种超薄的人工设计的二维光学平面亚波长结构,它能使亚波长尺度空间区域内入射光的电磁振幅和相位等光学特性发生突变。超构表面的这种特性使得其在光控制方面相比传统光学器件具有更大的灵活性,且具有结构超薄、质量超轻、易于集成等优势,为高度集成化、轻量化和便携化光学系统的发展提供了全新的途径。超构透镜作为超构表面的一个主流分支,在近些年来广泛的关注和研究下,获得了很多新的优势,如大视场,宽波段等。
学位
目标检测技术是视频安防、道路交通监控等系统中的核心技术之一,通过提取图像中的关键目标特征,分析出目标的类别及位置信息。目前,基于可见光波段图像的目标检测算法已在小尺度目标检测、密集目标检测等难点上取得了突破,并已通过大型自然图像数据集证实了其有效性。然而,在光照不足、烟雾遮挡等条件下,受限于目标有效信息的丢失,这类算法仍难以取得较为鲁棒性的检测结果,严重影响全天候监测系统的整体可靠性。本文主要将可
学位
自适应光学系统中,变形反射镜是使用最频繁、应用范围最广的波前校正器,它可以实时校正动态误差。现有变形反射镜根据像差校正分为低阶像差校正变形反射镜和高密度驱动的高阶像差校正变形反射镜,以及全像差校正的组合变形反射镜,在设计研制时,可根据像差校正的要求随意调整变形反射镜结构。然而,随着自适应光学系统的不断发展,为应用于不同的场所,对变形反射镜的要求也逐步提升,设计研制阶段需考虑的因素变多,导致传统的单
学位
随着科技的进步和嵌入式设备的发展,便携式拍摄设备的种类变得多样化,价格也变得低廉化。然而由于拍摄人员的不专业性和稳像设备的缺乏,以及恶劣天气的影响,都会导致成像的视频出现抖动。这种抖动不仅会降低观看体验,还会对基于这些视频的后续处理分析造成不利影响。因此对拍摄视频进行去抖研究具有十分重要的应用意义,同时这也是当前视频增强领域研究热点。目前,针对简单运动和常规场景的去抖方法已经取得很不错的效果,但是
学位
针对大气湍流在时间和空间上的随机扰动,自适应光学系统以实时探测、实时校正的方式补偿波前畸变,提高光学系统成像分辨率,改善成像质量。系统在实际控制中存在2~3倍采样周期的时间延迟,波前畸变校正产生误差,限制控制带宽。而对暗弱目标的观测,需要附近有足够亮度的导引星提供实时的湍流波前畸变信息,但保持良好校正效果的区域很小。因此,本文结合大气湍流特性和自适应光学控制系统工作原理,对时间域和空间域的波前畸变
学位
运动平台上光电设备配备可见光电视、红外热像仪等多种成像方式获取目标图像信息,又因为其高机动性、高时效性以及高经济性等优点,被广泛应用于海上救援、环境测绘、森林检测和军事侦察等民用或者军事领域。成像质量是衡量光电设备性能的最重要的指标之一。随着科学技术的不断发展,限制成像质量最主要的因素不再是光学系统或者电子系统,而是光电设备工作环境中的振动。振动分为线振动和角振动,其中角振动对成像质量的影响远远大
学位