在源信号和传输信道均未知的情况下，仅利用观测信号恢复相互独立或不相关的源信号，称为盲信源分离。一方面，盲信源分离不需要过多的先验信息就可以恢复源信号，这使其成为一种非常实用的信号处理技术；另一方面，盲信源分离模型具有一般性，绝大多数观测量都符合该模型，因此盲信源分离具有非常广阔的应用前景。本文围绕线性混合的盲信源分离问题，研究更加稳健、高效的盲信源分离方法，主要结果概括如下：1．研究了白化背景下的自适应源分离方法。一方面，等变化性是盲信源分离算法所期望的一个重要特性，基于等变化源分离，论文提出了一种具有等变化性的自适应递归最小二乘（RLS）盲分离算法，它不仅为盲信源分离提供了均匀性能，而且有利于与自适应白化结合实现一步盲分离；另一方面，针对分离矩阵的正交性保持问题，我们利用估计函数理论分析了现有自适应RLS盲分离算法的最优解，指出了最优解之间的内在联系。通过选择合适的归一化项确保了分离矩阵在每次迭代中的正交性，从而保证了自适应算法的稳定收敛。2．研究了基于正交联合（零）对角化的源分离批处理方法。一方面，论文从矩阵能量集中的概念出发，提出了基于双边Householder变换的正交联合对角化算法，在一定程度上克服了对角矩阵受噪声干扰导致的算法性能下降。另一方面，论文研究了基于正交联合对角化零对角化的源分离可辨识性问题，给出了可辨识性条件。此外，论文提出了基于降维Householder变换的正交联合对角化零对角化算法，当我们在时频域研究盲信源分离问题时，这种对角化与零对角化的结合算法将给出更好的结果。3．研究了基于非正交联合（零）对角化的源分离方法。预白化虽然提高了盲分离的鲁棒性，但由此带来的白化误差却限制了分离性能。非正交联合对角化避免了白化，因此盲分离的性能将得到提高。针对现有非正交联合对角化算法运算量较大的问题，论文提出了基于LU分解、QR分解的几种高效算法，使非正交联合对角化的运算量显著降低。此外，针对非正交联合零对角化的奇异解避免问题，论文提出了一种乘积型更新的迭代算法。与现有迭代算法相比，该算法可以有效地避免奇异解；与非迭代算法相比，该算法需要较少的目标矩阵就可以达到相同（甚至更好）的分离性能。4．研究了基于非正交联合块对角化的卷积源分离方法。利用适当的时延结构可以将卷积混合模型转化成瞬时混合模型，再利用转化后的源信号相关矩阵的块对角化结构来辨识分离滤波器。针对非正交联合块对角化可能收敛到奇异解的问题，论文提出了避免奇异解的快速非正交联合块对角化算法，确保了所有源信号的完全分离。