近年来,日益增长的数据业务内容和逐渐普及的智能终端设备使得移动数据需求飞速增长,给当前的无线通信系统提出了巨大的挑战,随着第五代通信系统(5G)的推进,新型密集网络技术通过在蜂窝网络内密集部署大量小型接入点,来获得高频谱利用率,高传输速率,自组织性,低时延等性能优势,因而成为了满足用户需求井喷式增长的关键技术和研究趋势。而面向5G以后的可见光通信也凭借密集网络技术成为室内热点区域通信的理想实现方案。愈发密集的网络部署虽然能大幅提高系统容量,但网络中大量设备共享频谱资源也引起了严重的同频干扰,影响用户的服务质量。为了保证系统的性能指标,必须采用合理的资源分配和用户调度技术。其中用户调度技术的合理性往往需要考察多个性能指标和用户公平性,为此本文建立了用户和资源节点对应的双边匹配模型,从多效用联合优化和单效用最优化两个角度研究密集无线网络用户调度问题。首先,本文研究了 Small Cell密集异构网络中的用户速率和公平性联合优化问题。将用户调度问题转化为用户和资源节点的多对多匹配问题,之后对资源节点细分从而将多对多匹配转化为用户和子载波的多对一匹配模型,并通过双边效用函数的单调性分析解决了通信场景下稳定匹配理论存在的外部性问题。本文进一步提出了两种基于延迟接收机制的分布式迭代算法,并对算法的最优特性和算法复杂度进行分析。仿真结果表明,所提算法的系统吞吐量和用户公平性相比现有调度方案提升明显,且可以快速收敛到一个兼顾效率和公平的用户调度方案。随后,本文研究了 D2D(Device-to-Device,设备到设备)密集异构网络中的频谱资源分配问题,建立了最大化系统吞吐量和最小化系统拥塞等级两个系统整体效用最优问题。本文通过构建合适的局部效用函数,将两个优化问题转化为局部利他博弈和局部拥塞博弈模型,并且证明了两个局部交互博弈的严格势博弈特征,再利用严格势博弈性质将问题转化为求解纳什均衡解,进一步提出了两种基于空间自适应博弈的分布式算法。仿真结果表明,本文提出的两种用户调度算法都可以收敛到全局最优解,算法收敛速度和网络密集程度正相关,适合D2D用户密集度高的密集异构网络场景。最后,本文研究了室内可见光密集蜂窝网络的用户调度问题,建立了最大化系统和效用的优化目标。本文将匹配问题的外部性表现形式由传统的偏好序列变为效用函数,从而建立了用户和接入点的多对一双边交换稳定匹配模型。然后借助交换匹配的势函数性质证明了系统和效用局部最优点满足双边交换稳定和该问题双边交换稳定的存在性,从而将系统和效用最大化问题转化为求解双边交换稳定匹配解问题。基于马尔科夫蒙特卡洛学习机制,本文进一步提出了一个自适应调整迭代速度的系统和效用最优算法。仿真结果表明算法可以很快收敛到系统和效用全局最优解,相比现有算法性能提升明显。