大规模 MIMO(Massive Multiple Input Multiple Output,Massive MIMO)技术是第五代(The Fifth Generation,5G)移动通信系统物理层关键技术之一,当基站部署大规模天线阵列时,采用低复杂度的线性预编码方案就可以显著地提升系统的频谱效率和能量效率。此外,作为一种新型的网络架构,异构网络可以通过在宏基站覆盖范围部署不同类型的低功率节点来增强网络容量和扩展网络覆盖范围。因此,联合利用大规模MIMO和异构网络的优势来进一步提升网络的性能具有十分重要的意义。然而,基于大规模MIMO的异构网络在5G网络的设计部署中面临诸多挑战。一方面,基站的密集部署,使得异构网络中的干扰问题和回传链路受限问题成为制约其性能提升的关键瓶颈。另一方面,天线数的增多,也为大规模MIMO系统带来了电路功率消耗多的问题。针对上述问题,本文开展基于大规模MIMO的异构网络基本理论及技术研究,本文主要的研究工作和创新点总结如下:1.基于大规模MIMO的异构网络性能分析与空间自由度分配针对基于大规模MIMO的异构网络中宏小区和小小区之间的跨层干扰问题,本文提出了新型的基于二阶信道统计信息的干扰协调用户选择算法和空间自由度分配算法。首先,利用随机矩阵理论推导了宏用户和小小区用户遍历可达速率的下界。其次,为了减少回传链路的开销,本文提出了一种基于二阶信道统计信息的干扰协调用户选择算法。仿真结果显示,该算法可以实现与基于瞬时信道状态信息(Channel State Information,CSI)的算法近似的性能。进一步地,考虑到小小区密集部署对宏用户造成的性能损失,提出了一种联合空间自由度分配和用户选择的优化算法来最大化网络的频谱效率。仿真结果表明,该算法在保证宏用户传输速率的条件下,可以实现空间复用增益和干扰协调增益两者之间的折衷。2.基于全双工无线回传的大规模MIMO异构网络性能分析与资源优化针对分层异构网络中由于小小区基站密集部署所导致的回传链路受限问题,设计了一种基于全双工技术的无线回传链路机制。首先,为宏基站设计了一种基于投影技术的ZF预编码方案来消除多用户干扰和小区间干扰。随后,利用随机矩阵理论推导了该机制下用户和回传链路遍历可达速率的近似闭式解。为了实现回传链路容量受限条件下最优化的网络性能,同时兼顾用户间的公平性,构建了用户接入和资源分配的联合优化问题最大化网络对数效用函数,并提出了基于拉格朗日对偶分解法的分布式迭代算法求解该非凸问题。仿真结果显示,与基于最大信干噪比(Signal-to-interference-plus-noise,SINR)接入的算法相比,所提出的算法可以将网络性能至少提升30%,并具有较好的收敛性。3.基于非理想模数转换器的大规模MIMO中继系统性能分析与功率分配大规模MIMO中继系统电路功率消耗过大。为了降低射频链路的硬件开销,本文研究了部署低分辨率模数转换器(Analog-to-Digital Converter,ADC)的大规模MIMO中继系统。在非完美信道条件下,利用随机矩阵理论,推导了该系统用户遍历可达速率的近似闭式解。通过渐近性分析可知,随着中继节点天线数的增多,非理想量化对数据传输的影响将会消失。其次,为了补偿非理想量化对系统性能造成的损失,以最大化系统和速率为目标,构建了用户和中继发送功率的联合优化非凸问题,并提出了一种基于连续凸近似的最优功率分配迭代算法来求解该问题。最后,为了实现系统发送功率和硬件开销之间的折衷,本文还提出了一种最小化系统总功率消耗的功率分配算法。仿真结果验证了所提出算法的有效性和收敛性。4.非均匀部署的毫米波大规模MIMO异构网络性能分析针对毫米波大规模MIMO异构网络的非均匀部署问题,基于随机几何理论对异构网络建模,推导了用户接入概率、覆盖概率、平均速率的理论表达式,并评估了网络参数如毫米波小小区基站密度、簇内基站数、簇半径对网络性能的影响。仿真结果显示,相比于同频组网的异构网络,部署更多的毫米波小小区基站可有效地增加用户的覆盖概率和平均速率。对于非均匀部署的异构网络而言,簇内基站数的增加会降低覆盖概率,而部署更多的毫米波小小区基站可以减弱这种影响。进一步,基于理论分析的结果,利用Jensen不等式,本文提出了一种基于距离的用户接入准则,该准则可以判断用户接入何种频段的基站可以实现最大的覆盖概率。