信号调制体制识别作为无线通信接收中的关键技术,在自适应调制、频谱监测与管理、电子对抗及军事侦察等领域有着重要的应用。本文针对现有信号调制体制识别算法在复杂信道环境下识别性能低、计算复杂度高等问题,对无线通信系统中调制体制识别关键技术进行研究,主要内容包括非高斯信道下移动通信信号、空间相关衰落信道下MIMO信号、信号样本较少情况下数字调制信号和雷达脉内信号调制体制识别。本文的主要研究工作和成果如下:1.针对移动通信信号在低信噪比、多径时延信道下提取特征差异化不明显且计算量较大的问题,提出了一种基于信号瞬时特征的提取方法,该方法通过提取信号在较低信噪比环境下的幅度、相位、频率的瞬时统计特征进行信号分类,仿真结果表明,该方法不但特征差异化明显且计算复杂度较低;针对复杂信道环境下分类器算法识别性能较差、识别准确率较低且计算复杂度较高的问题,提出了一种基于ELM极限学习机的机器学习算法,该算法无需任何先验信息,将信号识别问题归纳为多元特征分类问题,在非高斯时变多径衰落信道环境下具有较好的识别性能;针对ELM极限学习机算法在异常复杂信道环境下(如较低信噪比、多径数增加、时延增长)识别准确度较低的问题,提出SAE-ELM自适应极限学习机算法,该算法通过差分变异进化理论来优化机器学习过程中的网络参数权重,有效克服了复杂的信道环境对信号的影响。2.针对MIMO通信信号在低信噪比的空间相关衰落信道环境下识别准确率较低的问题,提出了一种在MIMO空间相关信道模型下,基于循环平稳特征的数字信号特征提取方法,该方法通过提取信号样本的高阶矩和高阶累积量特征作为识别特征,利用高斯噪声在高于二阶累积量结果恒等于零的特性,良好的抑制了噪声对信号的影响;针对现有分类器算法运算时间长和信号正确识别率较低的问题,引入ELM机器学习算法和SAE-ELM机器学习算法。两类算法通过随机生成网络参数的方式,避免了分类器大量迭代更新的过程,有效降低了算法复杂度,提高了识别准确度;针对MIMO通信中信道相关系数增加时,ELM算法识别准确度无法满足实际应用的难题,提出了一种基于信道估计和均衡的MIMO信号调制体制识别方案,该方案在信道估计误差较小的情况下,可以消除MIMO空间相关信道对信号的干扰和影响,仿真结果表明,信道估计和均衡算法的引入,较大提升了MIMO信号的识别准确度。3.针对现有信号特征识别分类器算法在前期需要大量信号数据样本训练的问题,提出一种基于极限学习机的SS-ELM半监督极限学习机算法分类器,该分类器在训练过程中利用少量标记数据样本和大量未标记的数据样本共同训练分类器,获取分类器网络参数,有效克服了分类器算法在信号数据样本较少情况下无法进行分类的难题;针对不同标记信号样本数量对信号调制识别结果的影响,提出了一种样本数阶梯等间隔的验证方法,即在相同实验仿真环境下,通过设定不同数量的信号标记样本,验证该半监督分类器的识别性能,仿真结果表明,训练数据中标记样本的数量和半监督机器学习分类器的分类性能有关,随着训练数据中标记数据样本增加,分类器识别性能明显提高。4.针对脉内雷达信号在短波信道下识别性能差的问题,提出了一种基于小波变换的雷达信号调制识别方法,该方法通过提取小波变换域的参数特征,有效地实现了雷达脉内信号在非高斯多径时延短波信道下的信号分类,仿真表明在短波信道下上述方法的识别性能明显优于传统方法,且具有较低的复杂度和良好的鲁棒性。