有人/无人机混合编队协同作战将是未来重要的作战样式之一。由于运动学的复杂性和环境的动态性,控制一组固定翼无人机自主跟随有人机遂行任务仍然面临巨大挑战。本文以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,基于无模型深度强化学习方法解决了有人机-固定翼无人机混合编队协调控制问题,为混合编队的实际运用奠定了技术基础。主要工作及贡献如下:1)设计了基于深度强化学习的混合编队端到端协调控制框架。考虑无人机的非线性动力学,最小/最大空速、最大角速度等非线性约束,传感器误差、环境扰动等不确定因素,基于深度强化学习算法设计了端到端的有人机-固定翼无人机混合编队协调控制框架。该框架不依赖飞机和环境模型,能够直接输出无人机的控制指令,确保无人机能够自主跟随有人机组成编队协同飞行。2)针对离散动作空间中的有人/无人机编队协调控制问题,提出了基于D3QN算法（Dueling Double Deep Q-Network）的混合编队协调控制方法D3QN-imitation。在算法中设计了ε-imitation动作选择策略,提高了D3QN算法的学习效率。仿真结果表明:在ε-imitation动作选择策略的引导下,D3QN算法能够更快更有效地学习最佳策略,ε-imitation动作选择策略与D3QN算法相结合具有一定的优势。3)针对连续动作空间中的有人/无人机编队协调控制问题,提出了一种基于AC框架（Actor-Critic）的混合编队协调控制方法CACER。在算法中设计了双重优先经验回放机制,有效地提高了CACER算法的性能和训练效率。仿真结果表明:与随机经验回放机制和优先经验回放机制相比,基于双重优先经验回放机制的CACER算法在学习效率上具有明显优势。4)构建高保真半实物仿真系统验证了算法的有效性和可迁移性。硬件在环飞行仿真实验显示,数值仿真环境下训练得到的控制策略无需任何调整即可直接迁移到半实物仿真系统中。这一结果表明,本文提出的CACER协调控制算法具有较强的适应性及良好的实用性。