混合传播模式的高频超视距雷达结合传统高频天波雷达和高频地波雷达各自的优势,克服其固有的缺点,有利于进一步提高高频超视距雷达系统的性能,扩展其应用场景,是近年来高频超视距雷达领域的一个热门研究方向。新的混合传播模式体制也不可避免地带来了新的问题,其中混合传播模式下非平稳杂波的抑制问题是制约混合传播模式雷达目标探测性能的重要因素。混合传播模式下的海杂波信号会受到电离层传输信道的相位调制、系统布局导致的掠射角和双基地角、非平稳背景环境等多种因素的共同作用,使得海杂波谱产生展宽,杂波特性起伏变化大,容易淹没低速运动的舰船目标,严重影响雷达系统的探测性能。因而对混合传播模式下的杂波抑制研究,对于加快混合传播模式高频超视距雷达的实际应用具有重要的推动作用和意义。为此,本文围绕高频混合传播模式下非平稳杂波抑制算法设计这一核心问题,以实测数据为基础,对混合传播模式的工作原理、多模式目标匹配、海杂波展宽机理、多维度特性分析和杂波抑制算法进行了深入研究。利用杂波在距离域、空域和空时二维的相关统计特性,有针对性的提出了有效的杂波抑制算法,为解决实际高频雷达系统中的非平稳杂波问题,提供了可行的方案。本文首先对混合传播模式的工作原理以及杂波特性进行了分析,作为后续杂波抑制算法设计的基础。在理论上,给出了高频混合传播模式体制的工作原理,分析了其可行性以及不同模式的传播衰减。针对地波混合传播模式下的多传播模式回波产生虚假航迹问题,提出了一种多模式目标匹配方法,实现虚假目标和航迹的剔除。同时,这种现象的验证也说明了基于地波的混合传播模式的合理性。对混合传播模式下海杂波展宽的机理和理论多普勒频率进行了分析和推导。利用混合传播模式实测数据,对海杂波的距离域、空域和空时特性进行了分析,给出了相应的结论。混合传播模式下,海杂波在距离域呈现两种平稳度不同的特性。在非平稳环境影响较小的情况下,呈现出离散化部分平稳的特性;在非平稳环境影响较大的情况下,海杂波在距离维呈现极度非平稳特性,称为单数据集情况。在空域,实测海杂波不具有明显的方向性。同时,海杂波具有较为显著的空时耦合特性,存在较为集中的大特征值。实测海杂波的不同维度特性,是本文后续进行杂波抑制算法设计的基础和指导。针对混合传播模式下,海杂波空域不具有明显方向性、相关性强,而目标信号方向性明显这一特性,提出了一种基于优化的相关性分析策略的改进旁瓣对消算法。结合海杂波在距离维呈现部分平稳的特性,提出了基于角度-多普勒局域数据最大特征向量相关性分析的训练样本挑选方法,给出了局域单元范围的选取方法。通过挑选的有效训练样本,计算空域自适应权值,实现杂波抑制处理。通过仿真实验和实测数据,验证了方法的有效性。针对混合传播模式下海杂波在空时维度上具有较为显著的耦合特性,提出了两种基于训练样本挑选的降维空时自适应处理算法。在实际系统应用中,全维度空时自适应处理算法对训练样本数的要求难以满足,因而提出降维空时自适应处理算法来降低系统计算量和样本数的要求。同样结合训练样本在距离维展现的非平稳性,分别提出了基于几何重心距离协方差矩阵估计和基于信息几何距离协方差矩阵估计的训练样本挑选方法。通过训练样本协方差矩阵数据,计算不同几何距离,得到在相应矩阵流型上的待测距离单元协方差矩阵估计,选取与待测距离门杂波特征信息相近的训练样本,计算空时自适应权值,实现杂波抑制处理。通过仿真实验和实测数据,验证了方法的有效性。针对混合传播模式下杂波极度非平稳的单数据集情况的海杂波特性,分别结合海杂波的空域和空时特性,提出了单数据集下的空域自适应处理算法和空时自适应处理算法。在空域自适应处理算法的基础上,基于距离维无法选取训练样本的条件,提出在多普勒维选取有效样本,对杂波协方差矩阵进行估计。在待测距离-多普勒单元周围选取角度局域处理单元,通过非平稳度检测器,计算每个多普勒样本与待测样本之间的广义内积,挑选有效的多普勒维样本,进行协方差矩阵的估计,得到自适应权值。除此之外,结合杂波的空时耦合特性,又提出了一种基于快速逼近幂迭代算法的单数据集降秩空时自适应处理算法。利用半分辨率多普勒域投影技术,在待测距离单数数据中剔除感兴趣信号分量,结合迭代子空间追踪算法,对待测距离单元协方差矩阵的杂波子空间进行精确估计,得到与杂波子空间正交的投影空间的自适应权值,实现杂波抑制处理。利用仿真和实测数据,验证了两种方法在极度非平稳环境,单数据集情况下的杂波抑制效果。本文的研究成果有助于提高混合传播模式高频雷达系统的杂波抑制性能和抗干扰能力,提高雷达在复杂非平稳环境背景下工作的能力,为这种新体制的高频雷达的实际应用提供具有一定普适性的解决方案。