随着传感器以及电机、微型处理器的发展,各类无人机在各个领域获得了广泛的应用。各类飞行任务也对无人机飞行的自主性提出了更高的要求,而无人机飞行控制技术的发展是提高无人机飞行自主性的关键技术之一。四旋翼无人机是一类典型的小型旋翼无人机,可用于航拍、植保、监控、巡检等各类飞行任务。四旋翼无人机是一个多输入、多输出、强耦合、欠驱动、具有模型不确定性、传感器噪声、外部干扰的非线性系统。目前的控制方法例如比例积分微分控制（PID）、线性二次型调节器（LQR）等传统控制方法能在一定程度上对四旋翼无人机进行有效控制,但往往难以进行在不同环境下对于复杂轨迹的跟踪,使得在四旋翼无人机的控制有效性下降。本文在传统控制方法的基础上,首先结合模型预测控制、反馈线性化、干扰观测器设计了一种四旋翼无人机控制器,尝试通过传统控制方法对四旋翼无人机进行控制;对于使用传统控制时,模型不确定性高,参数设置复杂等问题,使用深度强化学习的近端策略优化方法,通过深度强化学习,获得四旋翼对于轨迹跟踪的最优控制策略。通过仿真实验,对文中方法的控制效果进行了验证,结果表明深度强化学习控制方法能够对四旋翼无人机进行有效的控制,进行轨迹跟踪,且能对模型不确定性以及外部干扰进行有抑制,且控制方法的寻优过程自主性高,易于实现。