在近些年,随着终端设备数量的巨大增加以及其对无线通信业务需求的不断增长,需要有新的技术突破传统系统在频谱效率与能量效率等指标上的瓶颈。大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）技术因其数量众多的天线,可在不增加系统时频资源开销的情况下提供足够高的空域自由度,获得更高的分集、复用与功率增益,从而成为无线通信物理层的关键技术与研究热点之一。本文主要针对无线通信系统中的大规模MIMO技术进行研究。考虑大规模MIMO与相关技术,包括速率分拆（Rate Splitting,RS）技术、毫米波技术以及无蜂窝（Cell-Free,CF）分布式技术,形成相应的系统结构,并且基于工程实践中的问题,在特定的场景与配置当中对系统的理论性能、参数优化以及传输方案等进行分析与设计。本文的主要工作将从多方面进行展开,具体的创新点如下:第一,对于上行集中式大规模MIMO系统中的性能分析与参数优化,本文推导出更接近于实际的K复合衰落信道遍历容量下界的渐进表达式。利用此结果,本文构建出传输功率受限下的能效优化问题,并为此提出一种低复杂度的一维迭代算法,从而获得优化的系统参数,包括优化的基站天线数与渐进容量。这些参数取值能够成为能效优先取向网络的设计参考。第二,对于下行集中式大规模MIMO系统中的低复杂度预编码,本文提出一种基于改进的拓展信道信息的双层预编码方案。此方案采用矩阵QR分解与次优的拓展干扰矩阵噪声系数,其能有效地平衡多用户干扰以及噪声的影响,并有助于提升系统的和速率性能。进一步地,在信道变化与参数更新的环境下,本文根据预定用户信道更新的三种位置情况,提出一种基于QR分解的低复杂度预编码算法。此算法无需进行矩阵的重新计算,而是利用预先保留的预编码信息,通过部分Givens或者Householder变换获得相对应的预编码矩阵,从而在保证系统性能的同时降低计算复杂度。第三,对于集中式MIMO以及大规模MIMO系统中信道状态信息非理想的问题,本文研究其结合RS技术的传输方案。首先,针对有限反馈MIMO系统,本文设计出一种基于最小均方误差（Minimum Mean Square Error,MMSE）的预编码传输方案,推导出相应的联立预编码矩阵的闭式表达式。其中,基于信道量化误差的近似表达式以及和速率损失函数,提供一种优化的功率分配策略,以调节不同拆分部分的功率配置。其次,针对多用户大规模MIMO系统,本文给出一种基于优化渐进系数的正规化迫零（Regularized Zero-Forcing,RZF）预编码方案,并可结合诺依曼序列获得预编码矩阵的低复杂度求解方法,从而能降低系统的开销。利用大规模天线提供的可分析渐进性质,得到一种基于渐进和速率的功率分配策略。上述所提出的方案在各自的特定场景当中均有不错的性能表现。第四,对于集中式毫米波大规模MIMO系统中的高成本与高功耗等问题,本文采用一种数模混合的预编码结构,并研究此结构下的传输方案设计。对于全连接结构,本文基于两阶段传输的设计框架,构建出一种用于获得等效信道的自适应的低复杂度正偏码本,并获得基于迫零（Zero-Forcing,ZF）与改进的信漏噪比准则下的数字域预编码方法。为了进一步抵抗多用户干扰,突破系统的速率瓶颈,本文再次引入RS技术,并给出相对应的预编码设计与功率分配策略。上述方案能获得较高的和速率增益,并体现出一定的鲁棒性。对于部分连接结构,本文提出一种基于自适应选择结构的低复杂度天线特定传输方案,其从天线的角度进行链路选择与相位配置,从而获得满足配对条件的预编码向量。上述方案有着较低的计算复杂度与较少的器件构造,保持部分连接结构相对于全连接结构的优势。第五,对于分布式大规模MIMO系统中由于用户移动性所产生的多普勒效应,本文提出一种混合小小区（Small-Cell,SC）与分簇CF的分布式结构,其中的速度各异用户被分成三组簇,而相应地,系统指派SC模式的接入点服务静止用户,而CF模式的接入点以分簇的形式各自服务低速与高速用户。基于拍卖算法,提供一种对于所有用户的联合初始接入点选择方案。此外,本文基于莱斯衰落信道与多普勒效应的共同作用,给出静止用户与移动用户的下行可达速率的闭式表达式,并以此设计出一种包含反复拍卖与主迭代操作的半启发式搜索算法,其用于求解一类加权组合优化问题,也即获得对于移动用户的接入点选择方案。上述所提出的结构能够降低分布式系统的回程开销,并可得到较好的用户间速率均衡。