随着“智慧城市”建设的不断推进,目标跟踪任务作为计算机视觉的重要领域之一,在民用与军用领域的方方面面发挥了重要的作用,有巨大的发展空间。然而,受限于目标跟踪对准确率与实时性的双重高要求,目标跟踪与深度学习的结合尚未获得最佳效果,孪生网络作为目标跟踪领域异军突起的新力量,在跟踪准确率和跟踪速度上有极大的发展潜力。本文首先对孪生网络与目标跟踪基础理论进行介绍,并对孪生网络在目标跟踪领域的破冰之作,SiamFC目标跟踪算法进行复现与测试。通过对实验结果的分析,本文提出了 SiamFC算法的四个问题:(1)SiamFC的网络离线训练处理不足;(2)目标形变时SiamFC易产生跟踪漂移;(3)SiamFC提取的特征表征性不足;(4)SiamFC未对特征通道的冗余现象进行处理。针对以上四个问题,本文提出了IeSiam与StSiam两个跟踪算法,分别从模型离线训练策略方面与在线跟踪方面提出解决方法:(1)由于SiamFC采用完全离线的训练方式,设计更好的离线训练策略将提升算法性能,IeSiam算法基于本文提出的Ie-loss模型训练策略,以解决SiamFC离线训练处理不足问题。Ie-loss训练策略包括以下三方面的工作:设计了用于解决正负样本分布不均衡问题的Ie-loss损失函数;设计了困难样本数据增强策略,增加相似干扰类训练样本,随机改变样本的对比度、亮度及位移,提高网络的抗干扰性;选取目标检测领域的大型标记数据集YouTube-BB与COCO数据集进行模型迁移。为了验证Ie-loss训练策略的有效性,IeSiam算法采用与SiamFC算法完全相同的网络结构,使用Ie-loss模型训练策略进行训练,实验结果表明IeSiam算法准确率与成功率有所提升,在目标形变、相似背景干扰等情况下算法性能明显提高;(2)StSiam算法针对SiamFC算法在线跟踪过程中,单一特征描述带来的跟踪漂移问题与持续跟踪失败问题,设计提高特征的语义表征能力的解决方案,获得了优越的跟踪性能。StSiam算法包括以下三方面的工作:针对特征表征性不强的问题,将AlexNet的深浅卷积特征融合;针对特征通道冗余的问题,设计自适应通道选择模块,包括基于目标图像的通道初筛与基于梯度的通道选择策略;针对目标形变的问题,提高跟踪算法的抗干扰能力,引入模板更新机制。最后,将StSiam算法在OTB-100数据集上进行测试并对测试结果进行分析,StSiam获得了良好的性能,有效消除了跟踪过程的二义性。综上所述,本文分别在模型离线训练策略与在线跟踪过程两个方面,对孪生网络在目标跟踪任务上的应用进行多方面研究与问题分析,并对提出的理论与方法在公认数据集上进行实验与推导证明,获得了较好的实验效果。