水面无人船(Unmanned Surface Vessel,USV)对于水面的目标识别和障碍物检测主要依赖其视觉系统。随着USV视觉系统的智能化程度越来越高,其在军事和民用领域具有广阔的应用前景,使得对USV的水面目标识别与跟踪系统的研究成为了当前研究的热点。USV在复杂海面环境以及时变背景下,对于待识别与跟踪的目标因外观和旋转变化而导致跟踪丢失以及不准确的问题,单纯依靠传统的目标检测与跟踪方法难以实现准确的识别与跟踪。因此,本文在对水面目标识别与跟踪的方法研究上,基于当前人工智能技术对水面目标的识别与跟踪提出了一种智能化的解决方案,能够实时准确的对水面目标进行识别与跟踪。首先,针对水面目标检测存在水面场景光照条件的变化以及水面远处小目标识别难的问题,采用YOLOv3(You Only Look Once version 3)的目标检测算法来对水面目标进行检测。分析YOLOv3算法的目标检测特征图输出网络的设计原理,并对非极大值抑制筛选预测框、目标物体边界框的预测和损失函数的设计机理进行阐述。经过相关的实验对比与测试,实验结果显示该算法的识别准确率更高,在实际的水面场景中对无人船的识别效果更好。进而,针对 MOSSE(Minimizing the Output Sum of Squared Error)卷积滤波跟踪算法对于水面目标的形状尺度大小发生变化时不能对其自适应跟踪的不足与缺陷,以此为出发点,提出了基于MOSSE的改进型自适应卷积滤波跟踪算法,通过加入尺度变化因子,对跟踪框的大小进行更新。该算法对水面目标在跟踪过程中出现的诸如水面光照变化、姿态变化、遮挡等都能起到鲁棒的作用,兼具了实时性与鲁棒性的特点。经过相关的实验对比与测试,实验结果显示改进后的算法更加的准确和可靠,这在实际的跟踪场景中是非常难得的。最后,针对MOSSE滤波方法中人为选择第一帧图像对于跟踪结果产生影响的问题,采用将 YOLOv3 目标检测算法与 Deepsort(Deep Simple Online and Real-time Tracking)目标跟踪算法相结合,来实现对水面目标的自主识别与跟踪。该方法以YOLOv3代替Deepsort中的检测环节,同时结合水面目标运动和外观信息,用匈牙利算法解决预测卡尔曼状态和新来状态之间的关联度,用马氏距离对其进行评测,通过级联匹配的策略来提高匹配精度,从而实现了对水面运动目标的先检测后跟踪。经过实际水面场景中的测试,其在对无人船的类别识别与跟踪效果上都有良好的表现。