盲源分离(Blind Source Separation,BSS)是在不知源信号和传输通道的先验信息的情况下,仅由观测到的混合信号恢复出源信号的过程。BSS是信号处理与通信领域中的基本问题,并在语音信号处理、图像处理、无线通信领域等领域有了广泛的应用。本文围绕这一热点课题展开,并把研究重点放在非平稳环境中的盲源分离算法研究。论文首先介绍了盲源分离的技术背景和国内外的研究现状,概括了盲源分离的数学模型,讨论了盲源分离的可分离性和不确定性;阐述了盲源分离算法中的基本知识,包括信号预处理、目标函数、优化算法以及性能指标;介绍了盲源分离中非平稳环境的概念及分类。针对非平稳环境下的盲源分离算法中存在的一些问题,尤其是针对混合矩阵为时变或突变的情况进行研究,提出了两种改进的盲源分离算法。一是针对EASI算法的不足之处,提出了基于参考分离系统的自适应变步长符号EASI算法,将EASI算法与从一般的动态分离模型中推导出的符号算子相结合,并且加入了基于参考分离系统的自适应变步长。符号算子的引入加快了算法的收敛速度,基于参考分离系统的自适应变步长平衡了收敛速度与稳态误差之间的矛盾。另一种针对不完整自然梯度算法的不足之处,提出了一种新的自适应约束变步长不完整自然梯度算法,利用系统上的扰动对代价函数进行约束,为了加快收敛速度,对算法的约束因子采用自适应形式,根据分离情况对约束因子进行自适应调整,并且加入了基于代价函数梯度的变步长,很好地解决了收敛速度与稳态误差之间的矛盾。计算机仿真结果证明,相比于传统算法,新算法都可以达到更加理想的分离效果。