科技的进步带动无人机产业的发展,如今无人机广泛应用于各行各业,但随之而来的无人机“黑飞”、“滥飞”现象也为无人机空中监管工作增加了极大难度,甚至已严重危害人身安全、社会治安和国家安全,因此对于反无人机技术的研究变得极为重要。无人机检测与跟踪技术是反无人机系统的重要组成部分,针对无人机的尺寸小、飞行高度多变、飞行环境复杂等特点,本文对基于视觉的无人机检测与跟踪技术进行研究。首先,由于目前没有公开的无人机数据集,我们自行拍摄了多种场景,不同飞行高度和姿态的无人机视频,制作了4000张无人机样本集。然后,本文对传统的目标检测算法、基于候选区域的目标检测算法和以YOLO为代表的基于回归的目标检测算法进行介绍,并对YOLOv3网络模型进行改进与优化,包括数据增强、边界框改进、网络多尺度特征的选择融合改进和损失函数的参数设计。最后对改进前后的算法进行实验分析与结果对比,验证结果表明改进后的网络框架能够实现更准确实时的无人机目标检测。其次,本文将YOLOv3检测结果作为跟踪算法的初始化输入,来实现自动化跟踪。对比分析粒子滤波和TLD（Tracking-Learning-Detection）跟踪算法的实验结果后,本文选择实时性很强的KCF（Kernelized Correlation Filter）算法进行无人机跟踪,加入多尺度计算,解决无人机尺寸变化问题;并针对目标加速运动、大幅度晃动的问题,加入卡尔曼滤波进行无人机位置预测与校正。同时,针对目标跟踪预测过程中的目标跟丢情况,采用一种置信度检验方案,重新通过检测算法初始化跟踪模型,实验结果表明优化后的跟踪算法获得了更好的跟踪效果。