波达方向（Direction of Arrival,DOA）估计作为阵列信号处理的一个重要研究方向,被广泛应用到雷达、声纳和无线通信等领域。由于波束空间处理在降低复杂度和提高性能方面的良好性能,过去几十年来受到广泛关注,各种经典的DOA估计方法已经应用于波束空间。受压缩感知概念的启发,一些离散稀疏表示方法被扩展到波束空间,用来提高在低信噪比和缺少快拍情况下的DOA估计性能。然而,离散稀疏恢复方法在网格划分时,会面临基不匹配的问题。为了解决这个问题,最近提出了用于无网格（gridless）压缩感知的超分辨方法,称为原子范数最小化（ANM）。通过利用协方差矩阵的Toeplitz结构,ANM方法被应用于线阵、矩形阵列的DOA估计。本文将波束空间处理与原子范数最小化等超分辨方法相结合,研究基于均匀线阵、面阵的波束空间超分辨DOA估计方法,并且讨论了其在信道估计中的应用问题,主要研究内容如下:1.研究了一种基于波束空间超分辨的低复杂度一维线阵DOA方法。针对DFT波束降维处理的一维均匀线阵,基于波束空间原子范数（BS-ANM）优化,研究了一种低复杂度的波束空间超分辨DOA估计方法。给出了基于（Semidefinite Programming,SDP）半定规划与（Alternating Direction Method of Multipliers,ADMM）交替方向乘子法的低复杂度求解方法,实现了基于波束空间原子范数最小化的一维线阵波束空间超分辨DOA估计。算法复杂度分析和仿真结果表明,该方法与传统的原子范数DOA估计算法相比,降低了计算量,且具有较好的测向性能。2.为了同时获得入射信号的俯仰角和方位角,本文研究了基于波束空间超分辨的二维面阵DOA估计算法。首先针对二维波束空间输出信号,研究了一种基于原子范数最小化的SDP求解方法,给出其相应的ADMM算法,并且通过2D-ESPRIT算法进行DOA估计。在此基础上,研究了一种基于Wasserstein距离的波束空间二维面阵DOA估计方法,并且给出了基于ADMM的快速求解算法。通过仿真,验证了本文方法的有效性。3.将研究内容1中所介绍的BS-ANM算法应用于带有DFT波束空间的均匀线阵,研究其在信道估计问题中的应用。仿真结果显示,与现有的方法相比,本文方法拥有良好的信道估计性能。