随着移动便携式终端的普及,无线通信数据业务呈现爆炸式增长,无线通信系统的能源消耗也随之剧增。针对上述情况,未来无线通信技术的发展将以提高频谱效率和能量效率为主要出发点。近年来,大规模MIMO技术由于能够在不增加频谱资源的情况下提高系统频谱效率、降低发射功率、减小小区内以及小区间干扰,而受到学术界和工业界的广泛关注,因此成为未来无线通信研究的热点。本论文主要针对无线通信系统中的大规模MIMO关键理论及技术进行研究,以提高大规模MIMO系统中的频谱效率和降低发射功率为主要目标。论文主要研究了分布式大规模MIMO系统中基于矩匹配理论近似分析方法、单小区3D大规模MIMO接收技术及性能、多小区非协作3D大规模MIMO预编码技术及性能、多小区协作3D大规模MIMO接收技术及性能。本论文的主要工作及成果如下：第一,针对2D分布式MIMO系统,提出一种基于矩匹配理论的近似分析方法,并利用所提近似分析方法对组合衰落信道进行近似性能及大规模渐进性能分析。在分布式MIMO系统中,分布式MIMO系统同时受小尺度衰落和大尺度衰落构成的组合衰落信道的影响。然而,在对分布式MIMO性能进行分析时,接收信噪比的概率密度函数、累计分布函数、和速率、误符号率以及中断概率涉及贝塞尔函数、梅杰函数-G、超几何函数等复杂函数,无法进一步分析。因此,本论文提出了一种基于矩匹配理论的近似分析方法,并且在KG衰落信道下完成近似性能分析。本研究内容的具体思路为：首先,根据接收信噪比的统计特性,使用单一的概率密度函数代替组合衰落的概率密度函数；其次,运用矩匹配理论分析方法匹配二者的均值与方差,找出两个概率密度函数参数间的关系；再次,根据参数关系,求出近似函数新的概率密度函数表达式;最后,根据新的概率密度函数,对分布式MIMO系统的和速率、误符号率以及中断概率进行近似分析,并对大规模MIMO渐进性能进行分析。矩匹配理论近似方法不仅能够充分逼近理论值、简化分析复杂度,而且能够很好地应用于大规模MIMO技术中。第二,针对单小区多用户3D大规模MIMO系统,提出一种基于线性ZF接收检测的和速率下界闭式表达式,并进行大规模渐进性能分析。3D MIMO技术在传统2D MIMO只考虑天线水平辐射的基础上增加了天线垂直辐射对系统性能的影响。3D MIMO技术能够有效地提高边缘用户性能、增强边缘小区覆盖。因此,本章研究单小区上行多用户3D MIMO系统,推导给出一种基于线性ZF接收检测和速率下界的闭式表达式,所提下界同时考虑3D MIMO、120高楼传播以及用户3D分布场景,通过灵活调节基站天线下倾角,推导出不同用户3D分布下和速率。根据所提下界进一步对大规模MIMO渐进性能进行分析。第三,针对多小区非协作3D大规模MIMO系统,研究并推导了基于MRT预编码算法的数据速率、误符号率以及中断概率性能,并进行大规模渐进性能分析。在多小区非协作3D大规模MIMO系统中,用户性能除了受大尺度衰落和小尺度衰落构成的组合衰落影响外,还受到小区间干扰的影响。因此,本论文提出一种基于归一化MTR预编码技术的数据速率、误符号率以及中断概率的闭式表达式,研究分析基站天线下倾角对系统性能影响,并进一步分析基于MRT预编码技术的3D大规模MIMO系统渐进性能。第四,为了进一步消除小区间干扰和导频污染,本论文针对多小区3D大规模MIMO协作接收及性能进行研究,提出一种基于ZF接收检测和发送天线相关性的和速率下界,并进行大规模渐进性能分析。首先,引入多小区3D传播模型,该模型同时考虑I20高楼传播模型、瑞利对数正态组合衰落、发送端天线相关性；其次,基于上述模型,提出一种基于ZF接收检测算法的和速率下界闭式表达式,此表达式不包含复杂函数,能够有效地进行计算分析；再次,根据所提下界,分析单天线功率固定和总天线功率固定时的大规模MIMO渐进性能；最后,针对固定基站天线数目情况下,提出一种和速率最优的最佳用户数方案。