物理层安全技术可提供不依赖于计算复杂度的“绝对安全”,是对密码学安全技术的重要补充,在增强无线通信安全性能方面具有重要研究价值。目前,针对单一窃听模型的物理层安全技术研究已有大量工作,然而,由于无线信道的开放性,系统可能受到被动窃听和主动干扰等共存的混合窃听,传统针对单一窃听模型的研究结论不能充分评估实际系统的安全性能。本文针对具有超密集部署、大规模天线等特征的无线通信场景,基于随机矩阵等价理论,研究多种混合窃听模型下的物理层安全性能。同时,针对无线网络中的主动干扰检测,提出了基于随机矩阵谱分析理论的物理层安全检测方法。具体研究内容和主要贡献总结如下:（1）针对被动窃听和主动干扰共存的单小区多用户无线通信场景,基于随机矩阵的等价理论,推导出合法用户和窃听用户信干噪比的等价形式;在此基础上,分析了基站天线数等参数对用户信干噪比的影响,并分别推导出半双工和全双工窃听模式下的系统安全中断概率和平均安全速率;利用切比雪夫-高斯求积法,得出安全中断概率和平均安全速率的近似闭式解。（2）针对内部窃听和外部窃听共存的单小区多用户无线通信场景,提出了人工噪声掩护的正则化信道反演预编码方案;基于随机矩阵等价理论,推导出安全中断概率的闭式解,显式地描述了安全中断概率与基站天线数的关系。研究表明,通过合理选择人工噪声的发送功率,可将安全传输速率提升1.7倍。（3）针对多小区多用户的超密集无线通信场景,提出了基于人工噪声的安全增强方案;基于随机矩阵等价理论,推导了系统遍历安全速率的下界表达式;基于凸优化理论,推导出最优的人工噪声功率分配因子。研究表明,通过使用人工噪声技术并优化功率分配,可大幅度提升系统安全性能。（4）针对无线通信中的主动干扰用户检测,提出了基于随机矩阵谱分析理论的物理层检测方法;通过仿真分析,验证了该方法的有效性。