如何在复杂无线通信环境中有效地抑制干扰以改善通信质量、提高频谱利用率，一直是无线通信的热点课题。本学位论文基于循环平稳理论对该课题进行深入研究，主要包括复杂无线通信环境中无线通信系统的性能、基于循环平稳理论的干扰抑制滤波、波束形成和盲源分离等。　　 本文的主要工作如下：　　 1.针对在单音连续波(CW，Continuous Wave)干扰环境中周期序列直接序列扩频(DSSS，Direct Sequence Spread Spectrum)系统的实际性能与基于传统标准高斯近似(SGA，Standard GaussianApproximation)分析方法得到的结果有可能不同的问题，对该实际性能进行深入研究。首先按SGA方法对该性能进行分析，然后推导出CW干扰下周期序列DSSS系统符号判决变量中干扰分量的数学表达式，结果表明，该干扰分量呈现固定电平或单频波动。并不近似于标准高斯分布，周期序列DSSS系统抗CW干扰的实际性能不仅与干信比、干扰频偏和干扰相位密切相关，而且还与具体的扩频序列有关，并具有门限效应。这与基于SGA假设分析的结果有很大不同。　　 2.针对传统的基于时域线性预测干扰估计的DSSS系统窄带干扰抑制技术对有用信号产生损伤的问题，提出利用频移(FRESH。FREquency-SHift)滤波器对干扰进行估计并将干扰抵消的DSSS系统窄带干扰抑制方法。该方法在对干扰进行估计时，既利用了干扰的时域相关性，又利用了干扰的频域相关性。理论分析和仿真结果表明，同传统时域线性预测干扰抑制方法相比，该方法对干扰估计的时平均-均方误差(TA-MSE，Time-Averaged Mean Square Error)更小，因而能够更精确地估计和消除频谱相关的窄带干扰，减轻对有用信号的损伤，进一步降低系统的误比特率。具有更加优良的干扰抑制性能，特别是在窄带干扰的功率相对较强或频带相对较宽时，其优势更加明显。　　 3.针对FRESH滤波器在实际工程应用环境中往往不可避免地存在循环频率误差(CFE，CycleFrequency Error)的问题，深入分析CFE对FRESH滤波器性能的影响，提出一种改进的CFE校正算法。该算法通过采用一组固定的输入样点对时平均-均方误差进行估计，避免由于每次迭代过程中输入样点变化而引起的TA-MSE对频移梯度的影响，使算法能够很好地收敛。理论分析和仿真表明，FRESH滤波器对CFE十分敏感，其性能随着CFE的增大而迅速变差，直至完全失效。本文提出的CFE校正算法能有效地校正CFE，降低CFE对FRESH滤波器性能的影响，使存在CFE时FRESH滤波器仍能保持稳健性能。　　 4.针对传统的SCORE(Spectral Self-coherence Restoral)、CAB(Cyclic Adaptive Beamforming)等循环平稳波束形成算法在强干扰环境中性能下降，甚至完全失效的问题，根据强干扰环境中接收信号的循环平稳特性，提出一种基于旁瓣对消的循环平稳波束形成算法。该算法在辅助阵列中利用干扰信号的循环平稳特性进行传统的循环平稳波束形成，在干扰信号较强时能得到其准确的估计，在主信道中将其抵消，从而在阵列方向图的干扰方向上形成零陷。理论分析与数值仿真表明，在强干扰环境中，该算法能充分利用强干扰的循环平稳特性对其调零，而且收敛速度快、性能更稳健。　　 5.针对目前已有的循环平稳盲源分离算法收敛速度慢的问题，提出一种新的快速收敛的循环平稳盲源分离算法。该算法分别利用源信号的统计独立性、循环平稳特性以及联合矩阵的正交性。对混合信号矢量进行白化、循环白化和正交变换，得到分离矩阵的更新方程。通过这样的联合处理，进一步提高了算法的收敛速度，增强算法的稳健性。将该算法与NGA(Natural Gradient Algorithm)、NEASI(Normalized Equivariant Adaptive Separation via Independence)和NGA-CS(Natural GradientAlgorithm based on Cyclostationary Statistics)三种算法进行仿真比较，结果表明，该算法比其他算法收敛速度更快，分离效果和对于加性信道噪声的鲁棒性也更好。