随着当代通信技术的迅猛发展,各种移动智能终端渗透到人们生活的方方面面,人们对无线数据传输的需求也呈井喷式增长。与此同时,通信模式也不再局限于人与人之间,而是更多扩展到人与物甚至物与物之间。这都需要建立更低功耗、更安全的网络,实现无缝的网络连接。因此,下一代移动通信系统(5G)对传输速率、系统时延、设备密度、移动性等方面提出了非常高的要求。超密集组网技术是下一代无线通信技术研究的重点之一,对于解决网络覆盖、系统容量等问题具有非常好的效果。超密集组网技术通过引入大量低成本、低功耗的小小区(Small Cell)来提高系统容量、增强覆盖效果。新的通信需求也带来了巨大挑战,在高频、大带宽传输环境下,密集的小区和用户配置必然带来大量的反馈信息,这些信息会导致系统开销剧增并带来严重的系统干扰。因此,如何设计合理的反馈方案是目前超密集组网技术的研究热点之一。与此同时,密集小蜂窝系统中具有高频、大带宽的特点,其传输场景不同于传统模式。针对新的高频无线传输环境的特点,我们需要重新设计相应的数据和信令的传输结构、传输内容、传输时间等信息,提出适合新场景的帧结构设计方案。此外,在超密集网络中,由于低功率节点的大量随机铺设甚至重叠铺设,采用传统的正交频率资源分配已不能达到很好的干扰消除效果。我们需要重新设计高效的干扰消除算法以提升网络的整体性能。本文针对密集小蜂窝系统中要面对的主要问题,分析了现有技术的优缺点,设计了一种基于网络编码的协同小区反馈方案,使其在不增加反馈开销的情况下完成反馈信息的传送,我们通过仿真验证了其可行性;针对小蜂窝下的高频、大带宽传输体制,分析了新的信道特性对物理层参数的影响,优化了子载波间隔、循环前缀等帧结构设计参数,并通过链路级仿真验证了优化的帧结构的有效性;针对小蜂窝网络下的干扰特性采用干扰对齐算法,并通过一种迭代分簇算法对小蜂窝分簇,在满足干扰对齐可行性限制、减小信令交互的同时得到合理的网络拓扑结构,进而提升网络容量及用户体验,并通过仿真证明了其有效性。