信号调制识别分类无论在军事还是民用领域都有着重要作用,利用机器学习进行自动调制识别更是具有重要应用价值。随着当今社会计算机性能和机器学习领域技术的不断发展,基于机器学习的信号调制识别分类领域有了突飞猛进的发展,如何进一步提高现有的识别分类模型的准确率是如今调制识别领域的重要课题。本文对现有的深度学习网络进行实验分析比较,并利用PSO（Particle Swarm Optimization,PSO）和CS（Cuckoo Search Algorithm,CS）算法对深度学习模型进行改进,并针对部分调制方式在深度学习网络的学习中易被混淆的情况,提出了利用DQN（Deep Q Learning）模型进行不平衡分类,改进后识别分类准确率有所提升。本文具体工作如下:（1）对现有的自动调制信号识别分类系统进行比较。利用Keras和Tensor Flow平台分别搭建了卷积神经网络模型和深度残差网络模型,并对调制信号数据集分别进行训练和测试,并纵向比较不同数据集大小和信噪比对深度学习识别分类准确率的影响,再通过横向比较选择综合识别效果更优的ResNet残差网络模型进行后续的改进和实验。（2）分析了PSO和CS算法在改进深度学习参数初始化上的可行性,并利用PSO和CS算法对ResNet网络进行进一步优化。通过PSO和CS算法迭代寻优,找到使训练网络识别分类准确率更高的学习率和Dropout Rate的初始值,并利用迭代寻优后的优解进行训练后迁移深度学习。实验结果证明,算法改进后的模型识别分类准确率更高,同时也具有较好的可移植性和泛化能力,说明了改进算法的有效性。（3）从理论上分析了深度强化学习用于信号调制识别分类的可行性,并利用DQN在不平衡分类场景的适用性,构建了基于DQN的信号调制识别分类模型,包括模拟环境的构建、智能体与环境交互规则的定义和回报函数的设计,并制定奖惩规则,使模型在指定的调制类目上获得优于深度学习模型的识别分类效果。实验结果证明,在不平衡DQN模型中,几种较易被混淆的调制信号的准确率得到了一定的提高。