社会经济发展的需求以及科技的进步促使无线通信每十年就会经历一次变革,也就是产生一个新的标准。我们现在正处于推出第五代移动通信技术(the 5th-Generation,5G)的研究阶段,世界各地也已着手加速5G的商业部署,工业界和学术界开始将目光投向5G之外并将第六代移动通信技术(the 6th-Generation,6G)概念化。本论文的工作是在5G进行得如火如荼的时候开始的,希望能够为现阶段以及下一代的无线通信贡献出微薄之力。因为不论无线通信处于哪个阶段,其中的一个的主要目标都是能够提升系统容量,使之接近香农极限。为了实现这一目标,通常有三种方法:一是采用超密集网络架构,比如微蜂窝(small cell)技术;二是向更高的频率迁移,扩展带宽,比如毫米波技术(millimeter-Wave,mm Wave);三是使用一些拥有较高频谱效率的技术。本论文主要研究的大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术就是提高频谱效率的技术之一。大规模MIMO技术指的是在终端安装数以百计的天线单元,通过空间复用和阵列增益大幅度提高频谱效率和能量效率,减小干扰,并且随着天线数目的增多,基站到用户之间的信道趋于正交,噪声和干扰项在使用很简单的线性信号处理的情况下就可以消除,大大简化了信号处理的复杂度。此外,大规模MIMO系统还具有许多其他的优良特性,如:大幅度增强系统的鲁棒性,显著减小通信过程中的时延等。为了实现大规模MIMO给我们带来的好处,基站端需要知道相当准确的上行和下行信道状态信息(Channel State Information,CSI),从而可以进行有效的预编码和信号检测。在大规模MIMO系统中,上行信道的估计通常是通过用户端给基站发送导频序列,然后由基站端来估计上行信道,但是对于下行信道的估计不能够像普通的MIMO一样由基站发送导频序列,然后用户估计之后将信息反馈给基站,这是因为信道估计只在某一段有限的时间范围内保持不变,也就是我们常说的信道相干时间(channel coherent time),而大规模MIM0天线数量太大,发送的下行导频会占用大量资源,导致分配给有用数据的资源减少。所以对于大规模MIMO,通常采用时分双工(Time Divison Duplexing,TDD)模式,从而可以利用信道的互易性(reciprocity)来估计下行信道。而在此信道估计过程中存在一个严重的问题,导频污染(Pilot Contamination,PC)。导频污染是由于相邻小区的用户使用同一套或具有相关性的导频序列集合,导致基站估计的信道不可避免的包含了到所有和自己本小区用户使用同一导频或者是相关导频的用户的信道,所以也会发送到或者接收其他小区的干扰信号,并且由导频污染导致的干扰即使在基站端天线数目趋于无穷大的时候仍然存在,成为限制大规模MIMO的一个瓶颈性的问题。因此,如何减轻导频污染以及研究导频污染对系统性能的影响对于大规模MIMO系统有重要的意义。此外,空间调制技术(Spatial Modulation,SM)也属于一种特殊的MIMO技术,它只需要一个RF(Radio Frequency.RF)链路,激活多根天线中的一根天线发送信息,降低硬件损耗的同时又能够避免天线之间的干扰(Inter-antenna Interference,IAI)和同步问题,一部分信源信息用来选择天线,另一部分信源信息进行传统的幅度相位调制(Amplitude/Phase Modulation,APM),具有一定的频谱效率增益。空间调制这种MIMO技术可以应用在大规模MIMO系统的用户端,进一步增加系统容量,间接地减小导频污染所带来的系统容量损失。而广义空间调制技术(Generalized Spatial Modulation,GSM),可以同时激发多根天线来发送不同数据流,相比于SM,GSM可以获得更高的频谱效率增益,代价是增加的RF链路和检测复杂度,但是GSM可以在频谱效率和系统开销上做到更好的权衡。此论文主要围绕大规模MIMO系统如何抑制导频污染以及在导频污染下的性能展开研究。首先提出了减轻导频污染的功率控制方法,然后推导了一种多小区最小均方误差(Multi-cell Minimum Mean-Sqare Error,M-MMSE)预编码器,此预编码器在满足使用同一导频的用户的信道协方差矩阵相互线性独立的条件下,可以使下行链路传输消除导频污染,并针对实际情况,提出了一种新的信道协方差估计方法,在不完美协方差条件之下又分析了导频污染对大规模MIMO系统的影响程度。之后将此协方差估计方法进行了扩展,分析了同一信道条件下基站端安装均匀平面阵列(Uniform Planar Array,UPA)时大规模MIMO系统下行链路在导频污染下的频谱效率,最后分析了用户端采用GSM时在导频污染下的多小区多用户大规模MIMO系统的上行链路的频谱效率。论文的主要研究成果有以下四个方面:1.在大规模MIMO系统中提出了两个上行导频功率控制机制来减轻导频污染问题。求解每个用户最优的导频功率的过程涉及组合优化问题,运用了遗传算法将每个用户的导频功率作为优化变量输入到比特信息中迭代优化。这两种机制可以分别最大化系统中性能最差用户的信干噪比(Signal-to-Interference-plus-Noise Ratio.SINR)和整个网络用户的平均SINR,进而抑制导频污染。并且将所提的这两种功率控制机制与通常情况下采用的恒定功率控制机制(即每个用户使用大小相同的发送功率)进行比较,所提出的最大化最小用户信干噪比功率控制机制和最大化用户平均信干噪比功率控制机制在信干噪比和功耗方面均明显优于恒定功率控制机制。2.提出了一种新的信道协方差矩阵估计方法并分析了在导频污染下以此不完美信道协方差进行信道估计时的大规模MIMO系统的上下行链路的频谱效率。鉴于已知信息,即只要使用同一导频的用户的协方差矩阵之间线性独立并且使用M-MMSE检测接收的情况下,多小区大规模MIMO上行链路的频谱效率就可以无限增长,克服导频污染。本文在同样的信道条件下推导出了下行链路的M-MMSE预编码器并且发现下行链路的频谱效率也可以实现无限增长,消除导频污染。然而,由于已知信道二阶信息的假设不实际,因此,提出了一种新的信道协方差矩阵估计方法,与现有的二阶统计估计方法相比,该方法具有更好的估计性能。然后利用以上方法获得的估计信道协方差矩阵,分析了上行链路和下行链路使用不同接收机不同预编码器的频谱效率并且和拥有完美信道协方差矩阵的情况做了对比。3.提出了一种可以应用在二维天线阵列的信道协方差估计方法,并且令同信道用户的协方差矩阵之间线性独立,在这种易于抑制导频污染的信道条件下分析了基站端采用大规模UPA天线阵列时的下行链路的频谱效率。由于第2点中提到的信道协方差方法只能应用于一维天线结构,即均匀线阵(Uniform Linear Array,ULA),后续为了弥补这一缺陷,将此方法拓展到了更一般的天线布局中,着重分析了UPA。只要在基站端知道天线布局信息的情况下,就可以利用协方差矩阵没有完全自由度的特征估计天线对之间的协方差值。估计出UPA的协方差矩阵之后,将其应用在多小区存在导频污染的大规模MIMO系统中,分析了采用大规模UPA天线阵列的下行链路的频谱效率并将其与现存的估计方法以及具有完美协方差的方法进行了比较。当导频样本数目取得足够大的情况下可以消除导频污染。4.将广义空间调制技术(GSM)应用在用户端,与大规模MIMO相结合,组成大规模GSM-MIMO系统,并分析了多小区多用户存在导频污染下的大规模GSM-MIMO系统的上行链路的频谱效率。目前,大规模GSM-MIMO在多小区多用户系统中的研究文献屈指可数且有一定的缺陷。因此提出了一种在用户端和基站端具有任意发送协方差矩阵和接收协方差矩阵的实际的信道模型,将导频污染也考虑在内的情况下,分析了多小区多用户大规模GSM-MIMO系统上行链路的可达速率。单小区MMSE(Single-cell MMSE,S-MMSE)也是首次即被用来检测传统的相位幅度调制信号也用来检测发送天线序号。还提出了一种利用独立且非同分布随机变量的顺序统计概率论计算发送天线序号检测误差概率的算法,同时推导了在基站端天线数目趋于无穷时的分别使用S-MMSE,ZF和MF滤波器的可达速率的近似值。