未来的无线通信网络呈现出了显著的异构特征,网络中的各类节点(各类基站及用户)位置分布更加随机化。基于随机几何理论的异构蜂窝网络(Heterogeneous cellular networks,HetNets)具有能刻画无线蜂窝网络的随机拓扑结构,提供数学上易处理的网络性能解析表达式,无需复杂耗时的系统级仿真和所得网络性能较为接近实际等优点,因而成为了业界关注的热点。在基于随机几何理论建模的HetNet中,由于HetNet系统考虑了不同的节点位置信息、基站接入方案及复杂的无线衰落信道,这给网络的理论性能分析带来了挑战。为此,本文针对基于随机几何理论建模的HetNet中出现的不同节点位置模型(即用户为中心的网络模型:用户位置成簇分布且与基站位置强相关,泊松网络模型:用户和基站间的位置相互独立且均匀分布)、不同基站接入方案和复杂且广义的无线衰落信道,深入研究了网络的覆盖率性能。本文的主要研究工作与创新成果如下:第一,针对用户为中心的下行随机蜂窝网络,考虑综合性衰落信道场景:假设所有信号均经历大尺度阴影衰落;假设期望信号经历整型参数的κ-μ阴影衰落信道,干扰信号经历任意衰落信道。在该信道场景下,针对具有大尺度阴影衰落作用下的广义基站接入方案(General base station association rule,为便于表述记为 GR),基于高斯正交积分(Gaussian-Hermit quadrature,GHQ)公式给出了收敛且便于分析网络性能的距离分布的概率密度函数(Probability density function,PDF)。使用随机几何理论工具给出了单层用户为中心的下行随机蜂窝网络在综合衰落信道下的覆盖率闭式解,并进行了仿真验证。理论结果指出,在网络节点与信道模型相互独立的假设下,可避免了对干扰信道的理论分析,取而代之的是简单的数值计算。仿真结果表明,具有较高κ-μ阴影衰落参数值的信道场景会提升网络的覆盖率;与泊松点过程(Poissonpointprocess,PPP)建模用户分布的单层HetNet相比,用户为中心的单层HetNet明显提升了网络的覆盖率性能。该结论指出,若网络中存在成簇分布的用户,则可在簇心部署基站而非均匀部署基站以提升网络的覆盖率。第二,为适应5G系统对各类衰落场景的需求,探索基站接入过程中有无大尺度阴影衰落对网络性能的影响,本研究点首先给出了双阴影衰落分布的PDF和基于GHQ的近似PDF。其次,在离基站最近接入方案(Closest base station association rule,为便于表述记为 CR)和GR下,分别给出了下行单层泊松网络在期望信号经历双阴影衰落而干扰信号经历任意衰落信道时的覆盖率闭式解。在GR下所得闭式解为研究点一提供了一个准确的覆盖率下界。仿真结果表明,双阴影衰落信道中丰富的多径簇和轻微的主径阴影均有助于提升泊松网络的覆盖率性能;与GR相比,使用CR可避免乒乓效应;使用Thomas簇过程建模用户位置分布或基站位置分布的网络覆盖率均收敛于所给泊松网络覆盖率。与研究点一所得网络覆盖率结论相反,针对用户具有均匀分布的网络,部署成簇的基站并不能提升网络的覆盖率。第三,针对较为广义且复杂的波动性Beckmann(Fluctuating Beckmann,FB)衰落信道模型,本研究点采用Gamma分布及二阶矩匹配方法对FB衰落分布进行了近似;提出了修正型Erlang(Modified Erlang,ME)分布并用于随机几何建模的HetNet性能分析和降低出现非整型参数时使用Erlang近似导致的较大误差;基于Rician近似和所给ME分布近似,给出了 L层HetNet在期望信号经历FB信道和干扰信号经历任意衰落信道下的网络覆盖率和平均可达速率等闭式解。所给ME分布保持了指数型函数特征,将Erlang分布推广至包含任意实数参数情形,显著地降低了近似具有非整型参数的Gamma分布和FB衰落分布时的近似误差。仿真结果表明,FB衰落场景中的丰富多径簇、轻微的视距阴影和功率不平衡位于接收信号的某一分量上等均可提升整个网络的覆盖率和平均可达速率。综上,本文针对综合性衰落信道、双阴影衰落信道和FB衰落信道等复杂衰落场景,给出准确、计算复杂度低(即所得覆盖率闭式解均首次消除了高阶求导运算和复杂积分运算)且适用于干扰经历任意衰落场景的网络覆盖率性能闭式解,理论地分析不同的网络节点位置模型、衰落参数及基站接入方案等对网络覆盖率性能的影响,为实际HetNet的部署与规划提供理论指导。