移动互联网的高速发展对未来5G系统提出了新的挑战,为了满足相关的性能需求,大规模天线技术被提出。基站通过增加天线维度获得更多的空间自由度,在相同的时频资源上同时服务多个用户,进而提高整个系统的吞吐率。但是大规模天线技术的实际应用过程中仍面对一系列新的问题,比如信号处理复杂度提升、硬件成本增加、导频污染严重以及波束搜索开销增加等。本论文着眼于大规模天线系统具体的传输方案设计,特别是针对上述提到的问题展开相关研究。首先,论文研究了大规模天线系统中低复杂度预编码问题,分别针对全数字和模数混合天线架构提出相应解决方案。在全数字架构中,提出一种基于纽曼级数的迫零预编码近似方法,该方法通过多项式累加来逼近迫零预编码方案中的矩阵伪逆运算,并给出多项式收敛系数的闭合表达式。在模数混合架构中,考虑模拟域信道状态信息获取的约束,这里提出一种两阶段预编码方法:模拟域基于码本反馈信息选择最优码本组合,数字域基于等效信道做迫零预编码。基于该思想,给出两种码本反馈方案和两种码本优化方法。所提算法可以获得频谱效率和复杂度之间更好的折中。其次,论文考虑了大规模天线系统中信道重构低复杂度算法问题。在TDD系统中,当用户承载的数据流数目小于自身天线数目时,基站需要通过上行信道相关矩阵的SVD分解获得有效下行信道信息。为了降低SVD分解的运算复杂度,本论文首先提出一种适用于二维天线面阵的近似SVD分解算法。该算法考虑水平维与垂直维天线阵列的空间分辨率差异,将整体SVD分解转化为若干水平维和垂直维低维度SVD分解,最后通过Kronecher乘法获得近似主特征向量。此外,还提出一种基于QR分解的近似随机算法。该算法忽略天线结构对于性能的影响,通过QR分解构造酉矩阵来实现低维度的SVD分解。接着,论文基于随机几何理论对导频污染问题进行建模和分析,并提出一种“保护间隔”模型来模拟真实的导频分配策略。针对上行传输过程,推导出在不同导频复用因子和天线数目下的SINR分布闭合表达式,进而计算系统平均吞吐率。理论分析表明:随着天线数目增加,用户链路性能获得改善,但最终受限于上行信道估计过程中临近小区造成的导频污染;系统存在最优导频复用因子,当超过该值时,虽然用户的链路SINR仍获得很大改善,但是导频复用消耗了过多的时频资源,严重影响了整个系统的吞吐率。最后,论文考虑低频段微波和高频段毫米波异构网络中用户的移动切换问题,分析移动切换、天线增益以及基站密度对于系统吞吐率的影响。首先基于随机几何理论对毫米波系统基站分布进行建模,对多天线’ 波束增益、波束宽度、移动切换流程等进行建模,同时考虑毫米波接入过程中的波束搜索开销。基于上述模型,进一步推导用户SINR分布概率、异构网接入概率、平均切换速率和单用户平均吞吐率的闭合表达式。基于理论分析和仿真验证得到:切换过程中过多的天线造成大量波束搜索资源开销,降低了用户吞吐率;若毫米波系统采用C/U分离方案,实现异构网跨层协作,可以明显改善系统性能。