伴随着无线通信技术的发展以及室内覆盖需求的不断提高,HetNet系统的部署已经成为下一代无线通信网络的发展趋势。HetNet系统的引入给传统蜂窝网络带来新的机遇的同时,也带来了新的挑战。本论文以HetNet系统中无线资源管理技术为目标,针对在大规模HetNet场景下集中式资源管理算法、半集中式资源管理算法以及分布式资源管理算法面临的困境分别提炼出三个主要矛盾“性能的最优性和算法的复杂度”、“个体的独立自治与整体的协调统一”和“环境的复杂性与个体的认知局限性”,进而围绕资源管理算法中三个主要矛盾展开研究。本论文的研究内容与创新点如下。首先,大规模HetNet系统集中式资源管理算法面临的第一个主要矛盾,是HetNet系统的复杂性需要集中式的统筹兼顾与随着HetNet系统规模地增加集中式算法面临日益庞大的代价之间的矛盾。针对集中式无线资源管理算法中算法的性能和执行代价的权衡问题,本文将整个HetNet系统抽象为一个多输入输出的非线性控制系统,以分簇基于耦合系统。解耦后的HetNet系统在簇间是相互独立的,仅在簇内存在变量耦合,因此,集中式无线资源管理算法仅需协调簇间的资源分配,大大降低算法执行的复杂度以及处理延时。基于上述分簇思想,本文提出了一种启发式动态分簇算法,该算法在保证小小区目标下行中断概率的基础之上,通过动态调整分簇数目以适应不同小小区密度以及具体的干扰环境。此外,本文提出一种针对小小区簇的子信道分配算法,该算法依据具体的分簇情况,动态调整不同簇规模的小小区簇子信道分配配额,能够权衡公平和效益。其次,大规模HetNet系统半集中式资源管理算法面临的第二个主要矛盾,是微观层面的个体独立自治与宏观层面的整体协调统一之间的矛盾。一方面,小小区具有“能动性”,可以独立地执行决策以追求自身利益最大化。另一方面,小小区基站具有“自私性”,需要核心网控制实体从宏观上协调小小区基站之间的决策。针对“宏观调控”存在延时滞后性的问题,本文将核心网控制实体的“宏观调控”过程解耦为延时敏感的功率控制过程以及非延时敏感的拓扑控制过程。并且,针对延时敏感的功率控制过程,执行开环控制;针对非延时敏感的拓扑控制过程,执行闭环控制。基于上述解耦思想,本文提出了一种基于演化博弈的小小区分簇调整方法,通过促使小小区自发地从干扰严重的簇跳转到干扰较轻的簇直到系统中所有小小区簇干扰情况相当,使得HetNet系统能够随着外界环境的变化而维持系统动态平衡。最后,大规模HetNet系统分布式资源管理算法面临的第三个主要矛盾,是HetNet系统环境的复杂性与小小区基站认知局限性的矛盾。一方面,HetNet系统的自插拔和自部署特性,导致环境变化动态性强,超过了小小区智能体的认知能力范围;另一方面,HetNet系统的大规模性导致了小小区智能体认知的局限性。针对分布式无线资源管理算法中小小区基站由于认知局限性存在不完全信息和不完全理性的问题,本文引入强化学习算法。将每个小小区基站抽象为一个独立学习的智能体,将HetNet系统抽象为多智能体系统,小小区智能体根据环境的变化动态的调整资源占用策略,在保证邻近宏蜂窝用户的通信质量的前提下,最大化自身的吞吐量。但是,这样一个多智能体系统面临一个主要难点,即小小区智能体需要全局信息以便做出最优的策略,而无集中式控制实体统一管控的情况下小小区智能体无法获得全局信息。为了克服小小区智能体认知局限性,本文提出了一种揣测学习算法,小小区智能体依据自身积累的不完全的信息最终学习到最优的资源占用策略。