信号波达方向 (Direction of Arrival, DOA) 估计作为阵列信号处理的重要分支，被广泛应用于雷达，声纳，无线通信，地质勘探等领域。近年来，围绕提高估计精度、抗噪声干扰性能和计算效率等研究目标，DOA估计取得了很多重要进展。然而，经典子空间类算法在小快拍，信源数目未知，信源相干等复杂环境下，性能急剧下降；基于离散网格划分的稀疏类算法会导致基不匹配问题，其估计精度与运算复杂度之间存在不可调和的矛盾。基于无网格理论的阵列测向方法，突破了 DOA 估计进一步发展的瓶颈。现有的无网格算法针对高斯白噪声背景设计，在更加复杂的色噪声背景下，算法性能大大下降；且大多基于数据域，随着信号快拍数的增加，运算复杂度急剧上升。论文针对不同的色噪声背景，设计基于结构矩阵的去噪方法，并将数据域的稀疏算法拓展到相关域，分别提出基于四阶累积量矩阵、差分协方差矩阵和协方差矩阵的无网格DOA估计算法以提高估计性能，主要工作与创新点如下：
　　(1) 针对高斯分布的色噪声，构造接收信号的四阶累积量矩阵抑制噪声分量。为了改善无网格框架下可估计信源数目的限制和四阶累积量矩阵导致的计算复杂度增大的问题，提出基于去冗余四阶累积量矩阵的无网格稀疏 DOA 估计方法。设计矩阵变换去除冗余数据并构建无网格稀疏表示模型，通过原子范数最小化算法求解。仿真验证了该算法在降低计算量，阵列扩展，提高分辨率等方面的有效性；为了进一步实现对相干信源的DOA估计，提出基于Toeplitz四阶累积量矩阵的无网格稀疏 DOA 估计方法。推导建立信源数目与四阶累积量矩阵秩的关系，构建Toeplitz四阶累积量矩阵以实现解相干。并设计基于Toeplitz矩阵变换的无网格稀疏表示模型，通过原子范数对偶算法求解信号DOA。仿真验证了该算法对相干信源的准确估计。
　　(2) 针对自协方差矩阵为对称 Toeplitz 结构的空间平稳色噪声，构造差分协方差矩阵抑制噪声分量。为了解决差分运算引起的伪峰问题，提出基于协方差差分矩阵的无网格稀疏DOA估计算法。通过差分矩阵特征分解提取正特征值对应的子空间，构建半正定差分矩阵以去除伪峰，并结合二维原子范数对偶算法求解。为了进一步提高算法的计算效率和估计精度，提出基于简化对偶多项式的求根算法，并推导算法的闭式解。仿真验证上述算法有效解决了协方差差分引起的伪峰问题，在空间平稳色噪声背景下具有良好的DOA估计性能。
　　(3) 针对空间非平稳色噪声，利用噪声自协方差的非均匀对角矩阵特性设计去噪方法。为了减小快拍数不足引起的估计误差，提出一种基于协方差矩阵预白化的无网格 DOA 估计算法，联立方程组求解色噪声协方差矩阵并进行预白化处理，并通过设计不依赖于噪声参数的残差能量约束方案以重构Hermitian Toeplitz结构的信号协方差矩阵，实现无网格DOA估计。为了进一步改善可估计信源数的限制问题并减少色噪声的时变特性引入的估计误差，提出基于低秩矩阵填充的无网格 DOA 估计算法。利用变换矩阵去除数据协方差矩阵的对角元素以达到去噪效果，基于秩缺的协方差矩阵设计残差能量约束方案，并结合无噪协方差矩阵的结构先验特性建立低秩矩阵重构模型求解。仿真验证了所提算法在提高估计精度，计算效率和测向分辨率方面的有效性。