随着智能终端和各种移动服务应用的快速增长,对无线通信网络的容量和能量效率提出了更高要求。由此推动网络结构由传统单层同构网络向大规模、多层异构方向发展。频谱效率和能量效率是网络发展过程中关键问题之一。本文分别针对频谱效率和能量效率最大化为目标展开了相关研究工作。针对多小区多用户下行链路系统的资源分配和功率控制问题,提出了一种基于单调优化的分布式波束成形算法。首先,优化问题描述为单个基站功率约束条件下的集中式全局和速率最大化问题。其次,通过去耦合方法将问题分解为分布式优化子问题。最后,将子目标函数构造为两个递增函数之差,进一步将其转换为标准的单调优化问题。在此基础上,利用Polyblock外逼近法对问题进行求解。仿真结果表明:该算法只需要使用本地信道状态信息,而且收敛速率更快。针对多用户大规模MIMO系统的能量效率最大化问题提出了一种分布式polyblock外逼近算法,其中能效优化问题描述为满足一定功率约束的系统和速率与系统的总能量消耗之比的最大化问题。该算法首先利用分数规划理论将分式目标函数分解为减式形式;其次将减式目标函数转化为标准的单调优化函数;最后,利用单调优化理论与Perron-Frobenius理论相结合,在计算顶点在可行功率域内的投影时,提出了一种分布式算法。仿真结果表明本文所提的polyblock外逼近算法的核心投影算法具有几何收敛性和更少的全局计算开销。