通信信号调制识别就是在一定的噪声干扰下确定出接收信号的调制类型和某些参数，从而为后续分析和处理信号提供依据。通信信号调制识别在军事和民用领域都有重要应用。以往的通信信号识别研究大多是以高斯分布作为背景噪声模型，但实际上无线通信信道中常常有一些显著的短时大幅度脉冲噪声，这类噪声不能简单的用高斯分布来描述，越来越多的研究者证实Alpha稳定分布是一种更有效的噪声模型。所以研究Alpha稳定分布噪声下的通信信号调制识别更具有现实意义。由于Alpha稳定分布噪声不具有二阶及以上各阶统计量，所以高斯噪声下的许多信号识别算法已不再适用。本文旨在研究Alpha稳定分布噪声下的通信信号调制方式识别算法，主要工作包括：首先，研究了基于分形理论的调制识别算法。分形盒维数和多重分形谱都是分形理论中的重要概念，且这两个参量受特征指数介于1和2之间的Alpha稳定分布噪声影响较小。本文研究了Alpha稳定分布噪声的分形盒维数特性和多重分形谱特性，在此基础上，分别提出了基于分形盒维数和多重分形谱的调制识别算法。基于分形盒维数的识别算法取待识别信号相位的分形盒维数作为分类特征，采用BP神经网络作为分类器，实现了BPSK、QPSK、OQPSK、MSK和GMSK五种信号调制方式的有效识别。信号多重分形谱中谱最大值对应的奇异性指数和谱最大值与最小值的差是两个有效的分类特征，在基于多重分形谱的识别算法中，采用了基于这两个特征的阈值判决法对2FSK、4FSK和8FSK信号进行识别。基于分形理论的算法的优点是计算量小，较易工程实现。其次，研究了基于分数低阶循环统计量的调制识别算法。分数低阶循环统计量是Alpha稳定分布噪声下信号处理的一种有效工具，已有广泛的应用。信号参数估计是调制识别预处理部分的关键技术之一，本文提出了基于分数低阶循环谱的MPSK信号参数估计算法。算法在分析了待估计信号参数和信号分数低阶循环谱中相应参数关系的基础上，通过信号的分数低阶循环谱实现对信号载波频率和码元速率的有效估计。另外，本文对传统二阶循环谱相干系数进行了分数低阶化，提出了分数低阶循环谱相干系数的概念，并分析了待识别信号的分数低阶循环谱相干系数特性，采用其循环频率域特征作为分类特征，实现了BPSK、QPSK、2FSK、MSK和AM五种通信信号调制方式的有效识别。由于分数低阶循环统计量可以有效的抑制Alpha稳定分布噪声，所以上述两种算法有较好的抗噪声性能，但是其分数阶指数需要根据噪声的特征指数来设定，致使算法有一定的局限性。最后，研究了基于广义二阶循环谱和广义四次方谱的调制识别算法。借鉴分数低阶统计量中分数低阶化的非线性变换思想，对传统的二阶循环谱和四次方谱进行了广义化，提出了广义二阶循环谱和广义四次方谱的概念，并将两种新概念应用到Alpha稳定分布噪声下的通信信号识别中。基于广义二阶循环谱的算法利用不同信号具有不同的循环频率的特性，根据循环频率对BPSK、QPSK和OQPSK信号进行分类识别。基于广义四次方谱的算法则利用不同信号的谱线位置不同实现MPSK信号的调制识别。这两种算法都不需要考虑噪声的特征指数，有较大的适用范围，从抗噪声性能来看，前者要优于后者。