随着日益增长的对于无线通信数据业务的需求,第五代蜂窝系统(5G)对于移动通信网络的容量提出了更高的要求。为了满足这些需求,提出了许多关键技术,包括超密集组网、微小区、大规模MIMO和毫米波技术等。超密集网络也被称为异构网,是一种新的网络架构,它包含了宏小区以及广泛部署的微小区。超密集网络极大地扩展了网络容量,提高了网络的覆盖范围。微小区技术被认为是未来移动蜂窝通信网络的关键技术之一。在移动蜂窝网络中引入微小区的部署,不仅可以显著地增加网络容量,而且可以更有效地优化网络覆盖,能够为用户提供更好的使用体验。大规模MIMO技术利用大规模天线阵列带来的空间增益,能有效地提高传输速率。毫米波技术因其广阔的可使用带宽也能极大地提升网络容量。本文首先介绍了微小区技术,包括微小区的分类以及微小区的架构演进,还介绍了回传技术的发展和回传架构的演进,以及无线接入回传一体化设计面临的挑战和预期的解决方案。然后,针对一种采用了大规模MIMO和无线回传技术的两层异构网,研究该网络中的频谱分配和用户关联的联合优化问题。通过将原始的优化问题分解为两个子问题,分别进行优化然后组合得到一种高效的解决算法。仿真结果证实了联合优化算法对于网络容量有很大的提升。此外,因为信道估计对于网络性能有很大影响,所以最后我们研究采用毫米波技术作为无线接入和回传技术的异构网中的信道估计问题。针对该网络,分析了其系统模型和毫米大规模MIMO信道的稀疏性,研究了一种基于结构化压缩感知的信道估计算法以及另一种基于结构化压缩感知的改进算法。仿真结果表明改进后的算法性能优于其他参考算法的性能,且对于信道估计的性能有很大地提升。