随着世界贸易不断加深,航运业发展壮大,船舶逐渐向大型化、快速化转型。传统的利用巡航船开展巡航的模式受到了制约,视野范围小、反应速度慢,无法统合全局信息,无法持续有效的对违法船舶进行跟踪,违章行为后继取证和处理困难等问题相继暴露出来。而利用无人机作为传统巡航船巡航的一种补充,发挥其高速、高效等优势可以弥补执法船在反应速度和视野局限的弱点。尤其无人机在应急反应和调查取证等方面有着明显的优势。通过使用无人机在空中识别跟踪肇事逃逸船舶,防止肇事船舶逃逸,有效的提升了执法调查的应急性和及时性。如何利用无人机采集到的图像跟踪船舶,实现可疑船舶跟踪的智能化自主化成为其中的关键。本文针对如何利用无人机获得的图像数据实现跟踪可疑船舶的问题,设计了一套基于宽度学习的跟踪系统。通过宽度学习的特征层映射框架,融合提取到的FHOG(Felzenszwalb’s Histogram of Oriented Gradient)特征和CN(Color Name)特征,充分利用图像信息,提取可靠的目标特征。而针对船舶目标在跟踪过程中发生的形变问题,本文通过宽度学习的增强层学习框架,更加准确和快速实现目标识别和分类。对于跟踪过程中不断增加的目标数据,本文通过宽度学习的增量学习算法,实现目标模型的在线更新,相比传统算法,大幅减少模型更新时间的同时,为后续目标跟踪提供了更好的准确性和更高的稳定性。为了保证跟踪系统的实时性,通过融合FHOG特征响应图和CN特征响应图,快速缩小目标存在区域。同时引入补偿因子,自适应选择融合比例,更好的适应跟踪过程中不断变化的目标和背景。