随着无线通信技术和移动互联网的高速发展,用户对于高速率、高质量的无线通信业务的需求以惊人的速度猛增。但现有蜂窝移动通信系统已经无法满足用户的要求。因此,为用户的语音和数据业务提供高速率和高质量的覆盖服务变得越来越重要。毫微微蜂窝作为一种能有效增强室内覆盖和提升网络容量的无线接入技术,受到了通信业界高度的关注。由于宏蜂窝和毫微微蜂窝的混合部署,形成了异构分层网络。其中,分层是指网络由不同类型的小区组成,异构是指不同基站的信号功率、覆盖范围等都存在着显著的差异。在传统的蜂窝网络中引入毫微微蜂窝不但能够提高频率资源的复用率,还能够增加无线通信的覆盖范围,因此异构分层网络被视为能有效大幅提升现有的移动通信系统容量的有效方案。然而,由于毫微微蜂窝基站(Femtocell Base Station,FBS)在配置时还需要考虑干扰管理、功率分配、接入控制等问题,异构分层网络还有很多技术有待深入研究。因此,本文对异构分层网络下的资源分配和激励机制进行了研究,提出了基于博弈论的资源分配方法和基于信誉度的激励机制,从而提高系统整体的资源利用效率。本文主要工作如下:第一,对异构分层网络中的联合资源分配问题进行了研究。主要考虑在引入有限干扰的前提下,最大化宏蜂窝的信干噪比和毫微微蜂窝的能量效率。文中首先将毫微微蜂窝按照环境和信道特性分为不同的簇,然后将网络建模为两层,其中由宏蜂窝基站和毫微微蜂窝簇组成第一层,毫微微蜂窝簇下的FBS组成第二层。由于每层的特点不同,本文在两层分别使用不同的博弈模型来优化网络资源的分配:在第一层使用斯塔克伯格博弈模型,第二层使用非合作博弈模型。仿真结果显示,和传统的方法相比,所提出的基于博弈论的资源分配算法在吞吐量和能量效率方面有着更好的表现。第二,在异构分层网络中,FBS的访问控制方式一般分为三种:开放访问、封闭访问和混合访问。通过引入激励机制,可以有效的提升FBS采用开放访问方式的积极性,从而容纳更多的用户接入网络,提高系统的资源利用效率和吞吐量。本文提出了一种基于信誉度的激励机制。该机制借鉴了移动自组织网络中基于信誉的区分服务激励算法,并结合异构分层网络中节点的能力将服务与信誉进行关联,将信誉作为所能获得服务质量的依据,进而对接入请求进行有效控制。仿真结果显示,相较于传统的封闭式和开放式的访问方式,所提的激励机制能够较好的增加网络中采用开放访问方式的FBS的数量,提高了整个网络的吞吐量。