通信信号调制识别在军事领域及民用领域均具有重要的研究意义。在缺乏先验信息条件下,准确识别接收信号的调制方式对于接收端后续操作和处理十分关键。传统调制识别方法需要人为设计、筛选和提取特征,所提取的特征泛化能力较差,在低信噪比环境中,极易发生特征的失效,导致识别准确率大幅下降,甚至无法实现有效的识别。基于此,本文将信号处理与深度学习相结合,有效提升低信噪比下通信信号的调制识别效果。首先,本文对通信信号调制原理、信号时频表征方法以及深度学习相关理论进行了研究,详细介绍了非线性时频分析理论与卷积神经网络（CNN）的网络结构、常用优化算法和激活函数,为后续基于信号时频表征与卷积神经网络相结合的调制识别算法奠定理论基础。然后,设计了五种CNN结构,采用平滑伪Wigner时频分布生成时频图数据集用于网络的训练和测试,通过实验对比确定最佳网络——特征通道串联网络,为后续章节中网络结构的选择奠定基础。接着,针对低信噪比下,平滑伪Wigner分布时频图中噪声对有用信号特征干扰严重的问题,采用高阶时频分析方法——Wigner四阶矩谱作为信号的时频表征方式,通过切片操作实现降维,采用模糊域核函数滤波方法去除时频面上的交叉项,并分析该高阶分布的时频聚集性;通过时频图的仿真对比,体现低信噪比下高阶时频分布对有用信号特征具有更好的凸显能力;为了进一步提升网络识别性能,为网络添加ECA注意力机制;为了降低参数含量及计算复杂度,实现了轻量化改进。最后,同样针对平滑伪Wigner分布时频图受噪声干扰严重的问题,设计了基于残差学习的时频图去噪网络以及基于轻量化残差注意力UNet的时频图去噪网络。分别使用两种时频图去噪网络对带噪时频图数据集去噪,生成两种去噪时频图数据集,用于训练特征通道串联-ECA网络,验证该算法对识别效果的提升作用,并对比两种去噪网络的去噪性能。实验结果表明:在保持识别网络结构不变的情况下,本文设计的两种时频图去噪网络能在有效去除噪声分量的情况下,保留信号特征,提升低信噪比下的识别效果。综上,本文有效结合信号处理和深度学习方法,从改善信号时频图和设计、优化CNN网络结构两方面出发,提升低信噪下的识别效果。实验结果表明本文方法能显著提升低信噪比下的识别准确率。