基于注意力机制与孪生网络的目标跟踪算法

来源 :深圳大学 | 被引量 : 0次 | 上传用户:sw_8818
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪是计算机视觉领域的一个重要分支,广泛应用于自动驾驶、视频监控、智能交通和人机交互等领域。给定目标在视频序列中初始帧的位置和大小,目标跟踪通过对目标外观和运动状态建模以预测出目标在后续帧中的位置和大小。近年来随着深度学习的不断发展,基于深度学习的目标跟踪算法的性能开始超过传统的目标跟踪算法,其中基于孪生网络的目标跟踪算法因兼顾准确率和速度成为目前最主流且效果最好的跟踪算法之一。然而实际场景中常会面临遮挡、光照变化、运动变化、尺寸变化和相机运动等问题,使得在复杂环境下对目标进行鲁棒跟踪仍然是一个极具挑战性的课题。本文的主要工作如下:1)提出基于通道注意力机制与孪生网络的目标跟踪模型。该模型以孪生跟踪算法SiamRPN++为基础,在残差网络中引入通道注意力网络,通过通道注意力机制自适应地重新校准通道特征响应。通道注意力网络学习使用全局信息以加强有用的特征并抑制无用的特征,从而提高跟踪的平均期望重叠率、准确率和鲁棒性,有效提高在遮挡、光照变化、运动变化、尺寸变化和相机运动属性的鲁棒性。2)提出基于双重注意力机制与孪生网络的目标跟踪模型,其由SiamRPN++算法和双重注意力网络组成。该模型一方面利用通道注意力机制给通道分配不同的权重,另一方面利用空间注意力机制对通道注意力网络的输出特征进行分组,选择不同通道和空间位置的语义属性,能够有效抑制无用通道的响应和背景的干扰,从而进一步提高目标跟踪的性能。以上两种方法均在VOT2016、VOT2018和VOT2019公开测试数据集上与SiamRPN、DaSiamRPN、SiamMask和SiamRPN++算法进行比较。实验结果表明,本文所提出的融合一种或多种注意力机制的目标跟踪模型在平均期望重叠率、准确率和鲁棒性全部优于基础网络SiamRPN++算法,大幅提高在遮挡、光照变化、运动变化、尺寸变化和相机运动属性的鲁棒性。
其他文献
视频是当今社交媒体中最常见的内容之一,近年来随着短视频平台的兴起,日常视频数据的生成量呈现出爆炸式增长的趋势,这给计算机视觉系统提出了更高的信息处理要求。而对于人类视觉系统而言,实时高效地处理视觉信息是其与生俱来的能力,原因在于该系统存在一种注意机制,这种机制可以从人眼获取的大量视觉信息中筛选出最主要的一部分并将其分配给大脑优先处理,从而实现从视觉感知到理解的高速响应。视觉显著性预测则是通过计算机
短视频分享平台数据具有用户交互行为丰富、模态信息多样且全面的特点,但由于相同短视频的不同模态信息之间具有差异性,也即存在“语义鸿沟”(semantic gap)的问题,现有的推荐方法难以从短视频的模态层级进行用户兴趣建模,衡量短视频模态信息之间的差异性对用户偏好的影响。因此,本文提出结合短视频数据多模态的特点和图卷积网络(Graph Convolutional Network,GCN)的模型框架设
随着智能家居的迅速发展,基于IP网络的远程人机语音交互技术成为了行业热点,这对通信语音质量提出了更高的要求。IP网络的语音通信(voice over Internet protocol,Vo IP)经常存在丢包和带宽限制等影响语音质量的问题,这严重影响了智能语音交互系统的性能。因此,研究Vo IP通信中的语音补偿算法并改善语音质量具有实际应用价值。Opus是一种实时音频编解码器,因其功能多样性而被
在节能减排的号召下,电动汽车在市场上和新技术的研究近些年来都受到了极大的关注。车载充电机作为电动汽车电池的充电设备,其性能极大的影响着电动汽车的续航里程、充电时间等。车载充电器(OBC)需要高效率、高功率密度和宽电压输出。LLC谐振变换器具有在不同负载条件下实现零电压开关(ZVS)的优点。与传统的基波谐波近似(FHA)方法相比,基于时域模型的工作模式分析能准确描述谐振电流、电压和直流增益。本文在运
改革开放以来,我国粮食生产取得了重大成就,但农业污染和生态环境破坏等问题也愈演愈烈。当前环境资源趋紧问题对农业生产的制约性正逐渐加强,推动农业绿色化发展,破解资源环境压力,对实现我国农业可持续发展具有重要的现实意义。传统农业生产效率的测算忽略了农业生产造成的污染问题,无法充分体现出农业可持续发展的能力,农业环境技术效率将环境污染作为农业生产的一种非期望产出纳入到传统的生产率分析框架中,可以有效地衡
糖尿病是影响人类健康的常见疾病之一,其危害性大,防治效果差,备受人们关注。近年来,比化合药物具有更多优势的食源性降血糖生物活性肽被开发利用,显示出广泛的应用前景。驼乳作为一种绿色无公害的天然乳源,其营养成分独特,容易消化吸收,营养价值远高于其他动物乳。其中的蛋白质含量和种类十分丰富,还含有特殊的生物活性成分等,在防治糖尿病方面表现的格外突出。因此,本论文旨在利用木瓜蛋白酶、风味蛋白酶、复合蛋白酶和
2020年中央一号文件提出,要构建“银保担”风险共担的普惠金融服务体系。农业信贷及农业保险是确保我国农村金融普惠体系完善建立的重要政策,是保卫我国脱贫攻坚战胜利果实的重要抓手。对于农民来说,实现脱贫仅仅是奔赴小康的第一步,而如何增收致富、全面建设小康才是农村发展中的现实问题。农业信贷能发挥“造血”功能,支持农户扩大生产规模,而农业保险能防范重大风险,是国际认可的农业风险管理工具。因此,研究二者联动
随着人工智能技术的革新、硬件技术的发展以及三维扫描技术的成熟,3D计算机视觉逐渐成为一个热门的研究方向。点云是3D计算机视觉中最常用的一种数据类型,其包含丰富的语义信息,具有海量、高精度和高密度等特性。点云已被广泛应用于自动驾驶、机器人感知、三维场景重构、AR/VR以及遥感测绘等众多领域。近年来,随着深度学习技术的兴起,基于深度学习的三维点云感知受到研究者们广泛关注,深度学习算法无论是在精度上还是
扑翼微型飞行器是一种以昆虫和鸟类等生物为仿生模板的创新型飞行器,其仿生化程度更高,集举升、悬停和推进等功能于一个扑动系统中,具有体积小、隐蔽性强、飞行灵活度更高、噪音更低等优点,在军事和民用领域具有广泛的应用价值和良好的发展前景。现有的扑翼微型飞行器与飞行类生物相比无论是在空气声学特性还是空气动力学特性方面都没有达到理想的水平,因此,本文将通过仿生学的原理以及飞行生物的尺度律原则设计出一种以蜻蜓翅
儿童是需要被社会关怀和保护的“弱势群体”,住区作为与儿童关系最为密切的场所,是儿童在整个童年时期开展交往、游戏等活动的重要载体,儿童在这些经历中逐步习得并提高认知能力、社交能力以及思维能力,为未来完整的、健全的人格的形成打下良好的基础。因此,营造一个能够满足儿童需求,吸引儿童走出家门,参与户外活动的住区空间环境对儿童的成长发展来说至关重要。本文首先系统阐述了儿童友好城市理论的发展历程、定义内涵以及