随着空战环境日益复杂,单架无人机战斗能力有限,难以满足空战任务需求,将多架无人机应用于空战格斗是未来空战的发展方向。而在空战格斗中,无人机对抗算法是决定胜负的关键因素,各国竞相开展无人机对抗算法的研究。传统的对抗算法如微分对策和专家系统等常常由于决策缓慢而贻误战机,无人机的智能化、实时化决策方法成了新的研究热点。本文设计了一种基于深度强化学习的多无人机对抗算法,无人机可以根据战场环境自主做出智能化决策。无人机空战可以看作是强化学习中的离散动作空间马尔可夫决策过程,无人机每进行一次决策都会从环境中得到一个立即奖励,并根据该奖励逐渐学习到合适的策略。由于无人机空战问题涉及的状态和动作数目非常多,传统的强化学习算法需要用表格来记录和搜索每一个状态动作的价值,需要消耗大量内存资源。针对该问题,本文将强化学习和神经网络相结合,用神经网络直接计算状态动作的价值,降低了内存消耗,之后使用贪婪算法选择价值最高的动作作为无人机的机动策略。多无人机对战可以分解为多个单机作战,本文以单无人机对抗为基础,研究了三维空间中的无人机对抗,设计了无人机常见动作的编码方式,利用无人机的运动学方程描述无人机的状态转移过程,根据无人机的相对位置和姿态信息设计了奖励函数,用于对无人机策略的评估。由于多无人机空战中的目标分配过程十分复杂,本文设计了一种多无人机分组对抗方法,首先根据距离对无人机进行分组,之后定义了各个无人机小组的目标分配规则,将多无人机空战对抗转化为多个小组间作战。对于无人机小组作战,为小组内每架飞机建立一个神经网络,用于各自的决策。在空战仿真中,我们采用深度Q网络算法作为敌方的格斗策略,而我方在深度Q网络算法的基础上做出了改进,将动作选择和动作评估分开,把神经网络的输出Q值分解为状态值和动作优势两部分,可以更好地区分不同动作的价值。在经过多个训练回合后,本文设计的无人机对抗算法在单无人机和多机对抗中相对其他深度Q网络算法都能够做出更优的决策,获得更高的胜率。