随着无线通信技术的不断发展与用户业务持续增长,以及智能终端的急剧增加,现有网络已面临着巨大的挑战。为了满足未来移动业务的快速发展、更好地应对移动通信数据流量的高速增长,第五代通信系统(5th Generation, 5G)随之应运而生。以往移动通信系统中部署并维护网络的任务基本是由人工完成,既耗费大量人力资源又增加运行成本,而且对网络的优化工作也不能达到令人满意的程度。超密集网络将会是5G通信系统中的一种趋势,所以网络中会有很多不同类型的接入点存在,而且它们的覆盖能力各不相同,各种类型接入点之间的关系也是错综复杂的,从而会导致5G通信系统面临网络部署、运营与维护等方面的挑战。因此,自组织网络技术成为5G网络必不可少的一项关键技术。本文在5G通信系统的基础上,对自组织网络的理论和关键技术进行了探讨,并针对自组织网络中的自优化技术,选择了其中负载均衡与基站休眠两方面进行比较深入的研究。主要工作如下:首先,提出了一种基于优化网络频谱效率的负载均衡算法。负载不均衡会降低系统的资源利用率,但是如果只考虑系统的负载均衡,有些用户终端则会连接到信号条件差的接入点上去,从而使用户体验变差并降低系统的频谱利用率。所以本文提出将负载均衡与提高频谱效率建模成多目标优化问题,然后通过比值法将该多目标优化问题转化成单目标优化问题,最后用量子粒子群优化算法对优化问题进行求解。仿真结果表明,所提算法在均衡网络负载的同时,还可以提高频谱效率。其次,提出了基于非合作博弈论的基站休眠机制。超密集网络是当前业内普遍认同的5G中关键技术之一,随着低功率接入点的密集部署,网络整体能效成为衡量5G通信系统长期经济效益的一项重要指标。基站休眠是降低网络整体能耗的有效方式,通过关闭负载轻的接入点,并将相关用户分流到合适的邻居接入点,可以节省网络能耗。本文提出基于非合作博弈论的基站休眠机制,引入第一得分拍卖模型,将准休眠基站与其周边基站建模成拍卖模型,准休眠基站中的所有用户终端作为拍卖的物品,通过拍卖切换到目标基站,然后将准休眠基站休眠。仿真结果表明,本文提出的基于非合作博弈论的基站休眠机制能够降低网络的能耗,并提升其能效。