随着移动无线通信业务量的迅速增加和用户对无线应用需求的日益增长,移动无线通信经历了前所未有的数据大爆发,使得5G网络快速发展。作为5G网络关键技术之一的大规模多输入多输出(Massive MIMO)具有空前的频谱利用率和能量效率,可以大幅提高系统容量,具有广阔的发展前景。Massive MIMO系统相比现已研究成熟的传统MIMO系统,存在许多新的特点和挑战,其中最大的问题就是随着基站天线数增加甚至趋于无穷,Massive MIMO的性能受限于小区间干扰,而其原因是导频污染。小区间干扰会使其他用户收到本来只应目标用户收到的消息,导致信息泄露,引起物理层安全问题。本文基于TDD多小区多用户Massive MIMO系统模型,对此系统中与物理层安全相关的两个关键问题:导频污染消除和下行预编码设计进行了研究。这两个研究点分别从上行和下行两个角度,消除用户间干扰,从而保证物理层安全。本文设计了一种结合小区分组和导频分配的导频污染消除方案。因为Massive MIMO系统工作在具有信道互易性特征的时分双工(TDD)模式下,可以通过在上行链路发送导频信号的方式估计信道,先通过对上行信道估计过程的公式推导解释了导频污染的形成原因,然后对几种已有的的导频污染消除方案做了简要介绍,最后设计了一种小区分组加导频分配的方案。此方案通过小区分组以增加一倍正交导频的代价将导频污染减少至原来的1/3,同时也减少了计算量。然后通过导频分配,使用一种贪婪算法选出使得上行用户传输速率最大的用户组,进一步减少导频污染。分别改变用户的分布半径、慢衰落系数中的参数γ、每个小区中的用户数,使用Matlab对系统的下行信道平均容量进行了仿真。从仿真结果可以看出,本方案有效消除了导频污染,增大了下行信道平均容量,提升了系统性能。本文还设计了一种联合预编码方案。首先通过下行信号发送过程进行了公式推导,引出了下行预编码的概念,明确了其在消除小区间用户干扰的重要作用,然后介绍了几种常用线性预编码方案,最后设计了一种基站联合预编码方案,一次性解决导频污染和下行信号相互干扰的问题。通过各小区基站间相互协作,交互得到的信息设计联合预编码矩阵对基站发出的信号预处理,以抵消导频污染造成的影响。先对基站天线数无穷的情况进行了理论推导,然后扩展到天线数有限的情况,进行理论分析和仿真。分别改变基站天线数、小区中用户的分布半径、慢衰落系数中的参数γ,使用Matlab对系统的平均下行信道容量进行仿真。仿真结果表明,本方案增大了下行信道平均容量,提升了系统性能。