多输入多输出（Multiple Input Multiple Output,MIMO）雷达具有空间分集增益和波形分集增益,能够为目标参数估计带来一定性能改善。经典MIMO雷达估计理论通常依赖于正交发射信号、空间不相关目标反射系数以及白噪声等一系列理想假设条件。然而近年来学术界和工业界逐渐发现,完美正交发射信号难以实现,由此还可能引发空间相关噪声。类似的问题也出现在MIMO雷达与外辐射源雷达、雷达通信一体化等系统相互结合的应用中,在一些极端情况下甚至还存在空间相关目标反射系数的影响。这些情况已不再符合理想假设条件,导致经典MIMO雷达估计理论不再适用。考虑到上述情况通常不会独立作用于系统,单独分析这些情况可能难以接近问题的全貌,有必要从更高维度分析它们对MIMO雷达系统的影响。因此本文将正交/非正交发射信号、空间独立/空间相关噪声、杂波、空间独立/空间相关目标反射系数等因素统一建模为复杂环境,让复杂环境模型可扩展并涵盖常见非理想及复杂的情况,进而对复杂环境中MIMO雷达参数估计理论展开研究。本文的主要贡献和创新总结如下:（1）针对复杂环境中主被动MIMO雷达的目标参数估计,分别针对相干处理、非相干处理的情况给出目标位置和速度联合估计的最大似然估计（Maximum Likelihood estimate,ML估计）,推导基于克拉美罗界（Cramér-Rao Bound,CRB）的系统理论估计性能评价指标,基于CRB分析影响系统估计性能的复杂环境因素,给出复杂环境中提高系统估计性能的方法。（2）在复杂环境中研究外辐射源MIMO（Passive MIMO,PMIMO）雷达的目标参数估计与优化设计,给出基于加权CRB（Weighted CRB,WCRB）的系统估计性能评价指标,针对系统复杂度受限的情况,给出一种联合机会信源（Signal Of Opportunity,SOO）选择和接收站布置来最小化WCRB的系统优化设计方案。与传统PMIMO雷达系统优化设计不同,本文的联合设计可通过匹配滤波结构对非合作SOO进行选择,同时允许接收站在连续区域布置,仿真实例验证了这些改进能为PMIMO雷达带来比传统优化设计方法更好的估计性能。（3）在合作共存式雷达通信一体化系统中,研究雷达及通信的非正交信号相互叠加所致复杂环境、系统复杂度受限等因素所引发的系统目标参数估计性能下降的问题,给出基于WCRB的合作共存式雷达通信一体化系统目标参数估计性能评价指标,提出对发射站选择及接收站布置进行联合优化设计（Joint Transmitter Selection and Receiver Placement optimization,JTSRP）,给出基于遗传算法的方法高效求解JTSRP所导致的混合整数非线性优化问题,通过数值仿真展示JTSRP比非联合优化方式对一体化系统估计性能改善的效果更好,同时JTSRP能够保持雷达和通信间的合作为共存式一体化系统所带来的性能增益。（4）针对杂波复杂环境中共置天线MIMO雷达目标波达方向（Direction Of Arrival,DOA）估计问题,提出基于监督学习的DOA估计方法,赋予神经网络一定物理意义,使其在训练过程中能够自发找到最优接收稀疏阵列结构及相应的最优波束形成权值。在最优波束形成权值结合宽带发射信号以抑制杂波、最优稀疏阵列结构充分提高目标DOA的分辨力的系统设计下,可在杂波复杂环境中高效实现目标DOA的高精度估计。