大规模的多输入多输出技术逐渐演进为B5G/6G的潜在技术,实现B5G/6G更高容量增益的希望依然寄托于空间维度。然而,Massive MIMO系统在实际工程部署时面临着一些挑战。首先,随着天线数量的增多,基站配备大量射频链路会带来高额的能耗及费用,这使得系统在满足前所未有的数据速率需求的同时面临着节能传输的挑战。其次,在一些基站物理尺寸（受风面）受限制的场景中,天线阵列部署朝着紧凑化趋势发展,此时能耗问题进一步加剧,而且天线作为电磁元件的接近会导致不可忽视的互耦效应。因此,本文对Massive MIMO系统给出一种快速收敛的能效波束赋形优化方案,并对紧凑型Massive MIMO系统进行互耦建模,在互耦存在的情况下研究了能效优化解决方案。概要如下:（1）针对Massive MIMO系统在满足更高数据速率需求的同时要实现更低能耗的问题,研究了Massive MIMO多用户下行链路的波束赋形优化。首先对多用户和速率性能和系统整体功耗模型做了理论分析和推导。接着在系统资源受限与保证用户服务质量的前提下,建立能效最大化数学模型。针对该非凸非线性的分式规划类问题,利用多个辅助变量和顺序参数凸近似理论设计了一个能效波束赋形（EE-BF,EnergyEfficient Beamforming）迭代算法。与现有的Dinklebach两层迭代方法相比,该方法只使用了单个循环,而且通过少量的迭代即可产生原问题的一个KKT（Karush–Kuhn–Tucker）点。数值仿真结果验证了所提算法是一种快速收敛算法,而且在较小电路功耗的情况下明显优于传统算法。（2）针对紧凑型Massive MIMO系统的互耦特性,以及配备大量射频链路会导致能耗、成本过高的问题,将基于天线选择的预处理架构引入紧凑型Massive MIMO系统。然后对系统和速率和功耗进行理论建模,包括基站射频链路、天线选择开关控制等部分的电路功耗。接着以能效最大化为目标,对天线子集与波束赋形联合优化。关键是引入辅助变量,通过透视重构解开两优化变量之间的耦合,并基于顺序参数凸近似理论提出了一种次优的迭代解决方案。最后基于等效电路法建模了天线互耦,在互耦存在的情况下仿真验证了所提EE-BF&AS算法的性能。仿真结果表明:阵元间距越小,互耦对能效性能损伤越大;所提EE-BF&AS算法构造出非规则的“四周化”天线子集,在一定程度上弥补了互耦损伤,进一步提升系统能效。