为满足第五代移动通信系统提升1000倍系统容量的需求,通信系统中无线传输技术和网络技术得到广泛关注。由于低频带资源的有限性和高频带频谱资源的实现复杂性,能有效提升系统频谱效率的大规模多输入多输出(massive multiple-input multiple-output,massive MIMO)技术成为学术界和工业界的研究热点。在相同时频资源下,大规模MIMO通过在基站端配置大量收发天线,利用高的空间自由度消除干扰和调度更多用户而提升系统频谱效率、能量效率等性能。然而,具有良好信道传输特性下的大规模MIMO系统容量不能准确刻画实际系统容量,也不能对高复杂度的预编码方案形成有效的理论指导和优化。为此,准确刻画大规模MIMO系统实际场景下的容量和设计有效的预编码方案将十分必要。本文主要关注大规模MIMO系统中的容量分析和预编码技术研究。通过推导点对点、多用户和多小区大规模MIMO系统容量的解析表达式为参数优化和性能评估提供理论指导,并针对大规模MIMO系统中高计算量的问题设计有效的预编码方案以满足系统速率需求。为了达到研究目的,需要对新的数学工具——随机矩阵理论(random matrix theory,RMT)进行深入学习和研究。本论文的主要工作和贡献如下:(1)点对点大规模MIMO系统容量分析本研究点主要关注于非中心威沙特矩阵下点对点大规模MIMO系统非渐近等价容量分析。本文利用指数均值函数对容量均值进行近似,并根据矩阵特征多项式的相关引理获得近似函数的解析形式;基于随机矩阵谱测度的集中性,采用两种不同拖尾分布的概率测度来表征矩阵谱分布。通过构造相应的凸函数以满足两种测度的需求,从而推导了非中心威沙特矩阵的谱测度的集中性和相应的收敛概率。最后基于谱测度的集中性和所推导函数的解析形式获得容量的上下界。基于该解析容量表达式可以分析相应参数对容量的影响。(2)上下行大规模MIMO系统渐近等价容量分析及优化本研究点将同时考虑空间和时间相关性对可达速率的影响,通过构建空时相关性模型来表征空时相关性对接收信号的影响,并分别在上行单小区系统和下行多小区系统中进行可达速率分析。在单小区系统中,由于迫零接收机信干噪比(signal-to-interference-and-noiseratio,SINR)表达式的复杂形式而先推导了可达速率的上下界。紧接着,应用渐近等价分析方法推导了迫零接收机上下界和匹配滤波接收机速率的渐近等价表达式。基于此,分析了空时相关性参数对系统可达速率的影响。由于迫零和匹配滤波接收机具有不同的速率性能和实现复杂度,本文经过分析两接收机的性能差值函数,提出一种基于最优切换点的接收框架方案以实现大规模MIMO系统中接收机性能和复杂度的折中。在上述工作的基础上,紧接着研究了多小区系统渐近等价可达速率。在多小区系统中,导频复用引起的信道估计误差将不能忽略,该研究采用最小均方误差估计获得信道信息。同样地,采用渐近等价分析方法获得三种常用预编码系统的渐近等价表达式。通过分析发现渐近等价SINR与小尺度衰落无关,与大尺度衰落和空间相关性参数有关,且与时间相关性参数的平方呈现性关系。仿真结果表明,相对于匹配滤波预编码系统,正则化迫零和迫零预编码系统对空间相关性参数更加鲁棒。(3)在信道估计误差场景下设计多小区大规模MIMO系统预编码基于上述渐近等价分析方法,本研究点在信道估计误差场景下为多小区系统设计低复杂度的预编码。本文首先研究了大规模MIMO系统中满足溢出概率约束的最小化发射功率问题,其中信道估计误差采用随机(Stochastic)模型。通过对非凸概率约束进行缩放,提出了上下行对偶法求解非凸优化问题;在对偶法基础上,根据渐近等价分析方法进一步提出仅需要协作基站间交互信道大尺度信息的分布式算法,以减少大规模MIMO系统中信令开销。由于上述Stochastic模型很难为低复杂度预编码设计提供直观的解析形式,因此形成了基于线性信道估计误差Gauss-Markov模型的大规模MIMO系统最小化发射功率问题。应用上下行对偶法可解决多小区预编码设计问题,利用所推导的上下行SINR的渐近等价式可以设计协作预编码和功率分配。仿真表明所提预编码设计方案能降低算法计算复杂度和减少系统信令开销,且具有快速收敛性。