基于孪生网络的视觉单目标跟踪算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:zchunhua3120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉目标跟踪是计算机视觉领域的一个重要分支,在智能视频监控、无人驾驶、人机交互等多个领域有着重要应用。本课题的研究内容是单目标跟踪,表现形式为在第一帧提供待跟踪的任意单个物体,在接下来的图像序列中,跟踪算法应当准确、实时地预测目标的位置。由于第一帧提供的信息有限,不足以应对后续跟踪场景的复杂性与多变性,同时,跟踪器的速度要满足实时性,这些难点使得视觉目标跟踪一直是一个极具挑战性的任务。如何设计一个同时满足准确性、鲁棒性与实时性的跟踪器具有极其重要的研究价值与实际意义。近年来,基于孪生卷积网络SiamFC(Siamese Fully Convolutional)的目标跟踪算法由于较快的跟踪速度以及采用了端到端的大数据离线训练的方式,获得了极大的关注。然而,该算法的准确性与鲁棒性都偏低,因此具有很大的提升空间。本论文在此基础上从不同方面对该算法进行了改进,主要研究工作如下:(1)针对SiamFC算法使用较浅的骨干网络导致提取的目标特征判别性不强的问题,设计了一种增强特征的深度孪生网络跟踪算法。首先,提出了一种边缘填充区域裁剪的深度网络代替原先的浅层网络作为特征提取器,充分发挥了现代深度网络的优势。其次,采取分层特征融合的方式,同时利用深度网络的深层特征与浅层特征,从多个角度描述目标。然后,提出了一种轻量级的通道注意力机制,在几乎不增加跟踪器整体参数量与计算量的同时,扩大了不同通道的权重差距,促使网络更关注对于跟踪更有意义的特征。最后,在OTB100与VOT2018这两个数据集上进行实验,结果表明所提算法可以有效提升特征的判别能力,跟踪器的准确率与鲁棒性得到大幅提升,同时满足实时性。(2)针对SiamFC算法在线跟踪时使用的模板特征永远来自于第一帧的图像导致相似度匹配不准确的问题,改进了原有的跟踪流程,提出了一种高置信度下模板更新的目标跟踪算法。首先,使用一种跟踪置信度指标作为此帧的跟踪结果置信度,当该值较大时,则提取当前帧预测到的目标位置处的特征,该特征相比于第一帧更加贴近当前时刻目标的状态,从而可以更准确地描述目标。然后,采用线性加权的方式结合初始帧的特征与最新帧的特征,完成下一帧目标位置的估计。此外,提出一种空间掩模策略,可以有效地降低目标周围其他显著性物体的干扰。最后,所提算法在OTB100与VOT2018数据集进行实验验证,结果表明该算法可以提升在线跟踪时相似度匹配的准确率。(3)为了同时提升SiamFC算法的跟踪准确率与速度,提出了一种轻量级的高速跟踪器。首先,使用改进的小型网络Shuffle Net作为特征提取器,相对于原先SiamFC算法使用的Alex Net网络,改进后的网络的参数量与计算量都更少,因此跟踪速度得以提升。然后,使用双重注意力,即同时使用空间注意力与通道注意力来调整不同位置的响应权重,帮助网络强化对跟踪有益的特征,从而更好地将目标与背景分离。最后,所提算法在OTB100与VOT2018数据集进行实验验证,结果表明该算法相比于SiamFC算法可以更好地平衡跟踪精度与速度。
其他文献
汤亭亭是极具影响力的华裔美国作家,其代表作《女勇士》抨击了传统中国社会对女性的压迫和美国主流社会对华裔的种族歧视,构建了华裔美国女性新身份。对《女勇士》中文化身份的研究一直是国内外华裔文学研究的热点。文化身份是我国20世纪90年代从西方引进的概念,也可称为文化认同,是以文化形态为基础、自己或他人认定的社会性建构,主要由人的身体特征、民族、宗教、语言和生活方式等文化节点构建,包括种族和性别等。目前对
目的:靶向脂质代谢关键酶研发抗乳腺癌药物已经成为近年来乳腺癌药理学研究的热点。硬脂酰辅酶A去饱和酶1(stearoyl-CoA desaturase 1,SCD-1)是催化饱和脂肪酸(saturated fatty acid,SFA)生成单不饱和脂肪酸(monounsaturated fatty acid,MUFA)的关键酶,与乳腺癌的进展和预后密切相关,为乳腺癌潜在的治疗靶点。现有的SCD-1抑
纺织品是日常使用及消耗较多的日用品之一,每年都有大量的纺织品被消耗。存在缺陷的纺织品,其价格和使用体验都会受到较大的影响。目前,国内纺织品缺陷检测主要是由人工完成,然而人工检测存在测速度慢、可靠性低和易受主观因素影响等问题。基于机器视觉的缺陷检测方法恰好能有效解决这些问题,故本文针对基于机器视觉的网孔织物缺陷检测系统进行了研究,主要研究内容包含:(1)网孔织物缺陷检测系统搭建。为了保证检测系统采集
目的:放射治疗(Radiotherapy,RT)是癌症的主要治疗方法之一,在肝细胞癌(hepatocellular carcinoma,HCC)的治疗中具有重要地位。有研究发现,亚致死剂量照射可以促进后代存活肿瘤细胞的侵袭和转移,其机理可能与肿瘤微环境密切相关。因此,我们研究了亚致死剂量照射后HCC中肝非实质细胞(non-parenchyma cells,NPCs)对HCC细胞转移能力的影响及其机
甲状腺未分化癌(Anaplastic thyroid carcinoma,ATC)是甲状腺癌中恶性程度最高的病理亚型,因其抵抗凋亡和DNA损伤,导致化疗药物对ATC患者无效。同时,由于在发展过程中的逐步失分化,ATC细胞中碘代谢基因发生异常甲基化而表达降低,几乎完全丧失了摄取放射性碘的能力,导致ATC患者对放疗不敏感。在基础和临床研究中,诱导肿瘤细胞发生死亡和重分化是治疗ATC的重要机制。食物成分
高性能、低功耗、高可靠已成为微处理器的发展趋势。一方面,高性能始终是微处理器设计的主要研究方向;另一方面,低功耗和高可靠设计方法会对微处理器造成一定的性能损失,如何以更少的时序代价实现低功耗和高可靠设计,也成为了微处理设计中的关键问题。近年来,开源免费的RISC-V指令集受到了学界和业界的广泛关注。研究面向RISC-V微处理器的性能优化方法,具有重要的工程实践意义。本文以基于RISC-V指令集的R
背景:结直肠癌(CRC)是人类常见的消化道恶性肿瘤,每年都有较高的发病率和病死率,特别是在中国,随着人民生活水平的提高,饮食结构发生了重大变化,CRC的发病率呈逐年上升趋势,严重损害患者的健康与生命。共刺激分子B7-H3是免疫检查点蛋白之一,在多种肿瘤类型组织中广泛过表达,与患者不良预后相关。吡咯-5-羧酸还原酶1(PYCR1)是一种线粒体酶,也是参与脯氨酸合成的关键酶,研究显示其在CRC患者组织
高脂饮食是前列腺癌发展的重要危险因素。棕榈酸是膳食脂肪酸中最常见的饱和脂肪酸,也是脂肪酸合成酶(Fatty acid synthase,FASN)的主要终产物。已有许多研究表明,FASN在多种癌症中呈高表达,而FASN表达水平的增高会导致体内合成脂肪酸增多。有研究报道称,肿瘤细胞的增殖依赖于内源性的脂肪酸合成。然而,富含棕榈酸饮食对前列腺癌发生发展的影响少有报道。因此,本文旨在研究富含棕榈酸饮食在
计算机视觉是计算机领域研究的重要分支,一直以来倍受学者、专家关注。其中机器视觉中的单目标跟踪方向,由于其在实际生活中被广泛应用,一直以来成为被研究的热点。目标跟踪任务因其跟踪的目标本身的不确定性以及其跟踪环境的复杂性,会面对诸如目标遮挡、尺寸变化、运动模糊以及长时间跟踪等问题。因其应用场景的复杂性,这就要求跟踪算法有较强的环境适应能力,即良好的鲁棒性。本文针对目标跟踪面对的难题,提出一系列的解决方
随着社会各方的需求、信息化的推进以及计算机视觉的发展,微表情识别领域得到了越来越多的关注,研究人员对其所进行的研究越来越深入。在商务谈判、刑事审讯、心理治疗等场合中人们会有意无意的隐藏自己的真实情绪以此来达到他们的目的,微表情是人类的肌肉语言,在此类情况下使用微表情识别的结果作为判断依据,可靠性则会大大提升。微表情区别于寻常宏表情的显著特点:(1)持续时间短(1/25-1/5秒);(2)肌肉运动幅