近几十年来,利用极化信息提高雷达的检测、抗干扰和识别能力是雷达发展中的一个重要研究方向,受到了学者们的广泛关注。随着极化的引入,信号维度也随之增大,为了刻画包含极化特征的杂波统计特性,就需要更多的训练样本。而在实际中,雷达需要面临着复杂多变的目标检测环境,导致杂波存在异构性,且邻近距离环中合适的杂波样本数量往往较少,因此提升极化雷达在复杂杂波环境中的检测性能显得尤为重要。本文围绕杂波抑制和目标检测,基于极化空时自适应处理技术,对极化杂波协方差矩阵估计、发射极化设计,以及降维处理等问题进行了深入研究。本文的主要工作与贡献如下:（1）针对极化的特点,首先对一般化的极化空时信号、杂波模型进行了讨论,提出了一种基于极化阵列的来波角度估计算法;然后介绍了极化雷达信号杂波抑制和目标检测相关流程,并给出级联结构的处理方式。（2）针对复合高斯分布的样本,研究了具有Kronecker积结构协方差矩阵的稳健估计。本文先将复合高斯分布样本转化为相应的复角高斯分布,并提出在其负对数似然函数上加上基于Kullback-Leibler散度的惩罚项的方法,推导出一种基于不动点方程求解的协方差矩阵估计器,称为稳健收缩Kronecker估计器（Robust Shrinkage Kronecker Estimator,RSKE）;RSKE得到的协方差矩阵具有良好的条件数;接着讨论了该估计器解存在的充分条件,提出了一种不动点方程的迭代求解算法,证明了该迭代算法的收敛性;最后,利用最优近似收缩和交叉验证,给出了三种计算收缩系数的方法。仿真验证了本文所提RSKE与现有的几种方法相比在估计精度方面具有更好的性能。（3）为了增强MVDR波束形成器对于干扰（杂波）的抑制能力,本文分别针对高斯和复合高斯数据,研究了收缩样本协方差矩阵（Shrinkage Sample Covariance Matrix,S2CM）和收缩 Tyler 估计器（Shrinkage Tyler’s Estimator,STE）的收缩系数选择问题。本文从高斯分布出发,首先选择MVDR波束形成的输出功率作为目标函数,推导了一种基于交叉验证的收缩系数选择算法（S2CM-CV）,其计算复杂度较低;然后,本文给出了一种与S2CM-CV渐近相似的改进收缩系数选择算法（S2CM-AE）,以进一步降低计算复杂度。最后,将两种算法其推广到复合高斯场景,得到STE-CV和STE-AE的算法。与现有的几种算法相比,所提出的算法具有更广泛的适用性或更好的性能。（4）本文研究了基于多极化天线阵列的空时自适应处理（Space-Time Adaptive Processing,STAP）性能优化问题,提出了一种提高检测性能的发射极化和接收滤波器联合优化算法。考虑到极化信号的特殊结构,本文基于分块最大最小化原理,将该问题表达为拟凸形式,并提出一种迭代算法对其求解。与现有的几种方法相比,能获得更好的杂波抑制性能。本文对比分析了传统STAP和极化STAP的性能,理论分析表明利用极化信息有助于提高STAP对低速目标,特别是静止目标的性能。（5）本文研究了角度-多普勒域STAP的降维问题。以最大化输出信杂噪比为优化目标,提出了一种具有递归结构的角度-多普勒通道选择算法,在该算法的每一步中,都从当前的剩余通道里,选择一个能使SCNR提升最大的通道。与现有的几种STAP方法相比,在STAP系统自由度固定的情况下,该方法能够以较低的计算复杂度获得较好的杂波抑制性能。此外,所提出的方法在训练数据较少的非均匀杂波场景下有更好的性能。