随着第五代移动通信(5G,5th Generation Mobile Communication System)逐渐完成技术方案验证,新一代通信系统的时代到来了。其中,大规模多入多出(Massive MIMO或者Large-scale MIMO)被视为5G的关键技术之一,受到工业界和学术界越来越多的重视。通过在基站端或用户端部署较大规模的天线阵列,大规模MIMO可以充分利用空间资源、显著增强空间分辨率,大幅提升系统频谱效率和能量效率。然而在大规模MIMO系统中,导频资源的不足引起的导频污染、现有信道估计技术精度的限制、时分双工(TDD,Time Division Duplex)系统中同步信号的开销等因素使得频谱效率和能量效率的进一步提升面临种种挑战。本文以火规模MIMO系统的频谱效率和能量效率为研究目标,进行了系统的性能分析,求出了最大化频谱效率和能量效率时系统关键参数的设置,为大规模MIMO的建设和部署提供了有价值的参考依据。同时,本文提出了应用于大规模MIMO系统的导频数据联合处理技术、网络全双工概念和分布式天线选择策略,进一步提升了大规模MIMO系统的频谱效率和能量效率。首先,分析存在导频污染时,多小区多用户大规模MIMO系统的频谱效率与能量效率性能,并根据二者的闭合表达式对系统参数进行优化。采用多小区联合的最小均方误差(MMSE,Minimum Mean Square Error)信道估计,定义了估计信道的等效表达形式,采用多用户联合MMSE检测,推导出上行和速率的下界表达式。进一步,利用大维随机矩阵的性质、凸函数的性质、次序统计理论等数学工具,得出了频谱效率下界的闭合近似表达式。该闭合表达式与传统的大规模MIMO频谱效率的渐近表达式不同,其值不仅与信道随机的小尺度衰落无关,也与用户随机位置的大尺度衰落无关,仅依赖于系统已知的参量,包括小区的半径、小区的数量、两小区之间的距离等。在此基础上求出了频谱效率最大时系统的用户数及导频数据功率比。同时,对实际系统的功耗进行建模,针对频谱效率和能量效率的折中关系,推导了能效最优的导频数据功率比。本章求出的频谱效率闭合表达式与用户的具体位置无关,可以直观地展示系统各参数对频谱效率的影响,使其物理意义更加明确,同时给出了最优的系统参数(用户数量、天线数量、导频数据功率比)值,为大规模MIMO的具体建设与性能优化提供了理论依据。其次,研究莱斯衰落信道下大规模MIMO的导频数据联合处理的频谱效率。充分利用数据传输过程中接收信号携带的信道信息,在接收到完整的导频信号和数据信号后,将二者进行联合处理以提高系统的频谱效率。根据互信息与信息熵的关系,将联合处理的可达速率下界拆分为物理意义明确的三部分:已知完美信道状态信息的系统容量、仅已知导频序列时信道估计的不确定性及导频数据联合处理时信道估计的不确定性。假设莱斯衰落中的视距传输部分为已知的,推导出频谱效率下界的闭合表达式。仿真结果表明,相比于仅依赖导频信号进行信道估计,导频数据联合处理应用于大规模MIMO时,具有较高的频谱效率。在联合处理中,增加导频长度使得导频开销增大,频谱效率随之持续减小。另一方面,可以增加块衰落信道的长度以提高导频数据联合处理的频谱效率性能。再次,提出网络全双工大规模MIMO的概念并对其频谱效率和能量效率进行分析。首先,阐述网络全双工的定义,即从整个网络的角度考虑系统的全双工模式,系统中上下行用户同时分别与不同的基站进行通信,基站之间不需要严格的同步信号,使通信网络的组成更加灵活。同时,可以通过调节上下行基站的数量,解决越来越严重的业务不对称问题。针对最大比发送(MRT,Maximum Ratio Transmission)预编码和最大比合并(MRC,Maximum Ratio Combining)接收机,推导出网络全双工大规模MIMO上下行瞬时及遍历和速率的渐近表达式。基于无源光网络的回传链路,提出网络全双工系统的功率消耗模型,并分析了系统能量效率的性质。从理论上证明了一部分下行基站对上行基站的干扰随着天线数量趋于无穷而消失,且通过仿真可知,与TDD系统相比,网络全双工系统频谱效率的优势随着天线数量的增加而更加明显,为网络全双工在大规模MIMO中的应用提供了依据。最后,以最大化频谱效率为目标,研究网络全双工大规模MIMO的天线分组与选择算法。首先给出应用于网络全双工分布式天线系统的一种改进式C-RAN(Cloud Radio Access Network)结构,通过引入两种选择开关,可灵活地决定该天线的工作模式。引入无干扰的理想状态接收信噪比的阈值,确定用户的初始可选天线集合,降低了目标问题的实现复杂度。将系统中的多种干扰进行分类,根据引起不同种类干扰的交叠天线数量,采用合理的功率权重系数,设计了一种新颖的用户排序测度。为了进一步减小目标问题的实现复杂度,将可选天线按照提出的收益-干扰比进行排序,及时停止天线选择的过程。为了降低系统频谱效率性能的损耗,设计了低优先级用户补充天线的算法。仿真结果表明,提出的应用于网络全双工系统的天线分组与选择算法,具有较高的可实现性和频谱有效性。