由于雷达、通信电子设备的广泛运用,其发射的信号在时域、频域相互交叠,构成了复杂电磁环境。这种情况下无法使用常规的时频滤波方法实现有效信号的提取,直接对接收信号进行信号参数估计与信息提取是很有难度的,首先要对混合信号进行分离处理。在非合作通信环境中,信源未知,源信号如何混叠未知,接收端往往只有观测信号和有限的先验信息。当从信源到传感器之间的传输系统很难建立数学模型,或者关于传输的先验知识无法获得时,盲分离是一种自然而且比较理想的选择。本文对复杂电磁环境的频域盲源分离进行了深入研究,短时傅里叶变换将时域卷积混合变为频域瞬时混合,简化了反卷积问题。重点研究了频域盲源分离中的排序不确定性。其主要工作包括:首先,分析了频域盲源分离的步骤。介绍了基于信号幅值相关性排序和基于分离矩阵连续性排序的理论,给出了频域复数独立成分分析(ICA)的实现步骤,幅值不确定性的消除方法和本文分离性能度量的标准。其次,针对分离矩阵直接迭代算法当分离矩阵收敛至局部极小值或反射造成分离矩阵不连续时存在的排序不稳定情况,给出了基于分离矩阵平滑估计的频域盲源分离算法SD-ICA(Smooth Dexing Matrix ICA)。基于分离矩阵行列式连续理论,运用e-NLMS(e-归一化最小均方差)算法求出邻域范围内各个分离矩阵的系数,运用系数与矩阵的乘积得到下一频点分离矩阵的初值。克服了直接迭代算法鲁棒性差的问题,仿真实验验证了算法的有效性。然后,针对Murata提出的频域盲源分离算法,解决排序不确定性存在鲁棒性差的问题。研究了分离矩阵行列式连续性、频点距离对基于相邻频点幅度相关性排序算法影响,提出了改进的排序算法RI-Murata(Robustness Improved Murata),该算法通过权重系数来衡量频点对排序的影响,并将分离矩阵作为下一频点分离矩阵的迭代初值,有效减小迭代次数,提高分离精度。克服了Murata算法将邻域内频点相同对待带来的不稳定性,仿真实验验证了算法的稳定性和快速性。最后,将SD-ICA和RI-Murata算法运用到复杂电磁环境进行分离时间和噪声条件下分离性能分析,给出了每种算法的优势。SD-ICA适用与低噪声多信源条件下信号分离,RI-Murata适用于分离性能要求高的场合。并将SD-ICA算法运用到脉内调制特征相似的信号分离,选取一种算法用于雷达抗干扰与雷达通信一体化。