大规模MIMO(multiple-input multiple-output)系统是未来5G移动网络中必不可少的技术之一,从一开始的单天线MIMO、多天线MIMO发展到现在的大规模MIMO。大规模MIMO技术通过使用很多的接收和发射天线,大大增加了移动网络的空间复用能力,并且达到了较高的频谱和能源效率。但是,因为移动网络信道是开放的,大规模MIMO技术存在着一些安全风险,比如用户信号窃听和信息泄露等问题。本论文旨在研究能检测出大规模MIMO系统中主动窃听行为的算法。本论文主要研究了两种不同情况下的检测窃听的方法:在合法用户数量较多时,利用Silverstein方程,找到样本协方差阵特征值的理论端点值,设置检验统计量,计算假设检验的拒绝域,从而判断是否存在窃听;在合法用户数量很少,即协方差阵是Spiked矩阵模型时,本文利用基于随机矩阵理论改进的MDL(Minimum Description Length)准则和噪声M-P(Mar?enko-Pastur)律两种方法进行信源数估计,估计出系统存在的非噪声个数,与原假设的合法用户信号个数进行比较,来判断是否存在窃听。在进行模拟实验时,发现Spiked矩阵模型在信噪比良好时,改进的MDL方法在样本量较少时,也有较好的检测性能,而M-P律方法要在样本量较大时才能有比较好的检测性能。在样本量与维数的比值良好时,信噪比只要达到一定值,改进的MDL方法与M-P律方法均有较好的检测性能,在信噪比很小时,两种方法都没有达到理想的效果,而M-P律要求的信噪比条件比MDL要求的要低一些。