目前,利用深度学习（Deep Learning,DL）识别信号的调制方式已得到了广泛的关注。现有基于DL的调制方式识别算法大多只考虑简单固定的场景,难以满足实际应用的需求。针对这一现状,本文考虑三种复杂多变的场景,分别是复杂信噪比（Signal-to-Noise Ratio,SNR）场景、复杂信道场景以及复杂信号场景,并在此三种复杂场景下,研究基于DL的调制方式识别技术。首先,本文考虑SNR复杂多变,提出了两种算法:基于二阶四阶矩（Second and Fourth-Order Moments,M2M4）的算法和基于多标签DL的算法。前者在不同的SNR场景下预先训练出多个调制识别模型,然后利用M2M4估计器估计出信号的SNR,最后根据估计结果选择合适的模型用于调制方式识别;后者利用多标签方法训练模型,可以同时识别出信号的调制方式和SNR。实验结果表明,两种算法均能有效对抗SNR变化的影响,尤其是基于多标签DL的算法。接着,本文考虑信道类型复杂多变,提出了三种算法:基于信道识别的算法、单标签算法以及多标签算法。第一种算法采用两个级联的卷积神经网络（Convolutional Neural Network,CNN）,依次用于信道类型识别和调制方式识别;后两种算法采用单一的CNN,在完成调制方式识别的同时消除信道变化的影响。实验结果表明,三种算法均能明显提高复杂信道场景下调制方式的识别精度,并且多标签算法优于单标签算法,单标签算法优于基于信道识别的算法。最后,本文考虑待识别的主信号中存在干扰信号,借助三种经典的CNN,实现了复杂信号场景下的调制方式识别,并分析了干扰信号对主信号的影响。实验结果表明,本文选取的三种CNN均能有效识别出主信号的调制方式,其中,Inception V1网络性能稍优。