通过使用大规模天线阵完成数据传输,大规模多输入多输出(Multiple Input Multiple Output, MIMO)系统可以将波束能量集中到很小的空间区域,从而节省发射功率并降低对非目标用户的干扰,因此可以实现比传统MIMO系统更高的能量效率,是重要的5G (5 Generation,第五代移动通信系统)候选技术。随着全球变暖的不断加剧,能效优化成为科研和工程实现的一个重要的关注点,在大规模MIMO系统中,由于大量射频链路消耗的功率较大,使用所有天线完成数据传输会造成能效损失,另外,系统复杂化为能效进一步优化提供了空间,因此大规模MIMO的能效优化问题近年来得到了广泛的研究。本文重点关注考虑射频链路功耗的天线选择问题以及天线数、用户数和发射功率联合优化问题,本文的主要工作有：1.对低复杂度天线选择算法进行了研究。针对大规模MIMO系统天线数目较多,天线选择复杂度较高的问题,首先介绍了一种以最小平均误差作为目标函数的上行天线选择算法,该算法可以转化为一个稀疏近似问题,并通过现有成熟的稀疏近似方法进行求解。基于稀疏近似的方法,提出了一种适用于大规模MIMO多用户系统的天线选择算法,该方法利用大规模天线阵所能获得的信号分集,以信道矩阵作为测量字典,通过稀疏近似方法求解低相关性的天线集。该方法考虑天线相关性,在大规模MIMO系统中性能优于不考虑天线选择的低复杂度天线选择算法,仿真结果表明,天线相关性越强,该算法的性能优势越明显。2.对迫零(Zero Forcing, ZF)预编码方式下的天线数、用户数和发射功率联合能效优化进行了研究。通过对ZF预编码方式下遍历能效的分析,结合分式优化算法,给出了多用户场景下的天线数、发射功率和用户数的联合优化方法及其退化形式。在优化过程中,发射功率和天线数优化问题均可转化为一种可以快速求解的形式,且满足相互迭代的条件；用户数优化问题也可以通过二分法来求解；三者的联合优化也可根据由表达式得出的性质进行简化。仿真结果表明,该算法在相关和非相关信道下均可实现近似最优的能效。3.对最大比发射(Maximum Ratio Transmission, MRT)预编码方式下的天线数、发射功率优化算法进行研究。根据ZF预编码方式下的联合优化方法的思路,对MRT预编码方式下的遍历能效进行推导,给出了MRT预编码方式下应用该方法的相关证明及方法的具体形式。本文对多用户系统和单用户系统两种系统模型均进行了研究,对于单用户系统,考虑了信道状态信息(Channel State Information, CSI)已知和未知两种场景。