随着社会的进步和各国军事力量的不断提升,无人机集群将在民用和军用领域扮演着重要角色。无人机集群侦察监视在民用领域可用于环保检测、电力巡检、灾害救援、交通监视等方面;在军用领域,未来智能化战争中无人机集群将为传统情报侦察监视能力带来革命性提升。无人机集群侦察监视任务具有高度复杂性,需同时兼顾区域的覆盖搜索和已发现目标的跟踪监视两个任务,另外侦察区域具有不确定性和动态性,传统算法缺乏有效的建模与求解手段。本文针对典型无人机集群自主协同侦察任务场景,按照模型数据的输入输出,有效构建具有四个子模型的任务模型;采用多智能体部分可观马尔科夫决策过程（Multi-agent Partially Observation Markov Decision Progress,MPOMDP）形式化描述无人机集群侦察任务过程,引入深度强化学习方法求解集群任务决策问题。根据目前先进的多智能体自同步协作方法搭建基于深度强化学习的无人机集群自主协同框架;按照任务因素特点,分析典型无人机集群自主协同侦察过程,结合无人机集群自主协同框架提出基于多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient,MADDPG）的无人机集群自主协同侦察方法和基于双向协调梯度的无人机集群自主协同侦察方法。本文主要的研究工作包括:（1）搭建基于深度强化学习的无人机集群自主协同框架。目前无人机集群控制技术已经取得一定进展,但集群分布式任务协同的研究还处于起步阶段,对于同时进行区域覆盖搜索和目标跟踪监视的一类复杂任务仍缺乏有效的建模与求解手段。本文借鉴以深度强化学习为代表的机器学习领域最新研究成果,将其应用于无人机集群自主协同侦察任务,搭建基于多智能体深度强化学习的分布式自主协同框架。（2）提出基于MADDPG的无人机集群自主协同侦察方法。构建面向数量可变的无人机集群自主协同侦察的网络,通过回报组合、参数调整、观测空间设计,进一步通过理论分析优化无人机集群自主协同侦察方法。该方法更加侧重每架无人机的自主性,通过集群协作能够应对复杂动态环境以及自同步协作完成区域覆盖搜索和目标跟踪监视问题。最后在实验仿真环境里验证提出的基于MADDPG的无人机集群自主协同侦察方法的有效性、自主性、协同性和鲁棒性。（3）提出基于双向协调梯度的无人机集群自主协同侦察方法。将双向循环神经网络作为无人机间的连接方式,一方面确保机间信息交互,另一方面可以产生集群记忆。构建集群整体网络,强化集群智能,实时在线输出每架无人机的动作。通过回报组合、惩罚并存、参数调整、观测空间设计,进一步通过理论分析优化无人机集群自主协同侦察方法。该方法更加侧重集群整体的协同性,通过集群协作能够处理环境快速动态变化以及自同步协作完成区域覆盖搜索和目标跟踪监视问题。最后在实验仿真环境里验证提出的基于双向协调梯度的无人机集群自主协同侦察方法的有效性、自主性、协同性和鲁棒性,并横向比较本文提出的两种方法与其他先进协同方法的性能,说明提出的基于双向协调梯度的无人机集群自主协同侦察方法在区域覆盖搜索和目标跟踪监视双重任务上更具优越性。