考虑到目前的4G/3G网络无法满足因大量物联网设备接入所引起的无线网络数据指数级增长和用户对更高服务质量的需求,企业和研究人员已开始研究第五代移动通信系统(the Fifth Generation Gobile Communication Systems,5G)。与此同时,考虑到在异构网络(Heterogeneous Networks,Het Nets)中,稠密的异构小区配置因减小的收发器间距离可以克服无线传输衰落,具有显著提高网络频谱效率和能量效率的特点,其被认为是未来5G网络的关键技术。一般,为了更好地利用和发挥Het Nets的优点,必须有合理的用户级联(User Association,UA)方案。然而,目前的用户接入方案存在以下问题:首先,基于最佳平均偏置接收功率(Average Biased Received Power,ABRP)的UA方案虽然考虑了最佳接入点的选择问题,但并没有考虑因实际应用约束所引起的最佳接入点无法接入问题,也没有给出相应的解决方案;其次,在传统的基于下行链路(Downlink,DL)的ABRP用户接入方案中,虽然DL的服务质量得到保证,但却很难保证上行链路(Uplink,UL)的实际需求。然而,在未来的5G网络,用户也要求有改进的UL服务。据此,本论文研究了基于非最佳选择的UA方案和基于非最佳接入的UL接入改进方案。首先,基于一传统的多层异构网络模型,论文提出了基于DL ABRP的非最佳接入方案,其基本思想是当用户因实际应用约束而无法与最佳的基站(Base Station,BS)相级联时,该用户可以选择与第m个提供最强下行ABRP的BS相级联。该非最佳用户级联方案不仅克服了最佳BS因实际应用约束而无法接入问题,同时还可以用于估计因非完全的信道状态所引起的性能损失。对于该m阶非最佳用户接入方案,本文将各层网络元素的分布建模为齐次泊松点过程(Homogeneous Poisson Point Process,HPPP),然后利用随机几何和排序统计方法,研究了一给定用户与提供第m个最强ABRP的BS相级联的UA概率以及相应的距离统计描述;并根据获得的统计描述和级联概率,研究了DL信号与干扰加噪声比(Signal-toInterference-Noise Ratio,SINR)覆盖性能。仿真和数值分析表明,非最佳用户级联对用户级联概率和网络性能有很大的影响。其次,为了保证UL的服务质量和改善网络的频谱效率,考虑到非正交多址接入(Non-Orthogonal Multiple Access,NOMA)具有显著改善网络容量的特性,本文提出了联合m阶非最佳用户接入和NOMA技术的跨层解耦UL和DL级联(Decoupling UL and DL Association,DUDA)方案。该方案的思想是UL和DL都采用较为简单的最佳、非最佳用户NOMA技术,最佳链路采用最佳接入技术,非最佳链路采用非最佳接入技术;基于DL ABRP,一个用户在DL可以同时接入到两个不同层的BSs;而对于UL,则采用基于最近距离的用户接入方案,一个可以同时在UL接入到两个最近的不同层BS。由于采用不同的上、下行级联方案,实现了解耦的上、下链路级联。该方案不仅可以平衡UL和DL服务,而且还因跨层接入可以满足用户的多服务目标需求。对此基于非最佳接入和NOMA的DUDA方案,本文在更一般的多层Het Nets情形下,研究了不同的解耦和非解耦用户级联情形,给出了每一种级联情形发生的条件及其相应的级联概率,通过数学分析,获得了发生概率闭式解析解;同时利用随机几何和排序统计方法,研究了网络的覆盖性能和频谱效率。