无线通信在人们的日常生活和工作中发挥着至关重要的作用。如今,全球无线通信技术正朝着移动化、宽带化和IP化三个方向迅速发展。随着无线通信业务的快速发展,有限的且可利用的频谱资源面对的挑战愈发严峻,逐渐变为限制无线通信业务扩展的瓶颈。因此,如何提高频谱效率成为目前研究的热点问题。频谱感知技术是动态频谱访问的前提,能够有效提高频谱利用效率,非法电磁信号的检测作为频谱感知技术的关键组成部分,在无线通信系统中发挥着重要作用,如今已经引起了广泛的研究兴趣。另一方面,调制分类技术同样是5G、B5G乃至6G无线通信系统中动态频谱访问模块的关键步骤,旨在自动识别未知接收信号的调制方式,促进自适应调制编码等物理层通信技术的发展与应用。本文首先研究了基于流形正则化的深度卷积自动编码器模型,用于实现非法电磁信号的自动检测。通过熵-随机梯度下降法对专门设计的深度卷积自动编码器进行优化,并以测试信号的重构误差作为度量标准判断信号是否被授权。为了使重构误差更具判别性,设计了跨越不同维度的样本流形的相似性估计器作为惩罚项,以确保样本流形在梯度反向传播过程中的不变性。理论上,流形正则化中的离散逼近与激发它们的连续目标之间的一致性程度可以在一个上界内得到保证。实验过程中,在基准测试数据集上对收敛模型进行了评估和对比,以证明算法的有效性和先进性。此外,可视化观察了模型的卷积核和测试样本激活图像,以帮助理解算法背后的原理和作用机制。接下来研究了一种基于频谱扰动的两级数据增强方法,用于改善深度学习模型针对自动调制分类任务的准确率。由于信号频率随时间的变化特性是各种调制方式之间最重要的区别,因此提出通过对无线电信号频谱引入不同强度的干扰来扩展样本,达到提高模型泛化能力的目的。原始信号首先通过短时傅里叶变换变换至频域,利用满足特定分布的双向噪声掩码来实现对频谱的干扰,然后对干扰频谱进行傅里叶逆变换完成信号的重构,并将原始信号和增强后的重构信号输入网络进行训练。理论分析证明了测试阶段的数据增强可以解释为变相的模型集成,从而有助于提高模型的鲁棒性。通过在公共数据集RadioML2016.10a上的实验对比,验证了所提出方法的调制识别性能。最后,研究了一种应用于深度学习模型的先验正则化方法,用于指导模型训练过程中目标函数的优化。结合类间对抗因子、全局散度和维度散度设计的正则化因子有助于增加样本的类间距离,减少样本的类内距离。在尽可能保留接收信号的原始信息的同时,先验正则化因子充分利用了信号传输过程中的先验知识,最终帮助深度学习模型良好的泛化于不同信噪比的信号上。此外,可以证明先验正则化等价于隐式数据增强方法,是一种迭代过程中的隐式的数据扩充。实验过程中,通过在公共数据集RadioML2016.10a上对比一系列先进的调制分类方法和不同的正则化技术,表明了所提方法的有效性和优越性。由于先验正则化方法对超参数和信噪比估计的鲁棒性,算法可以良好地应用于实际环境中的不同场景。