在移动互联网和物联网两大趋势的推动下,移动数据业务急剧增加、频谱资源日趋紧缺、能源消耗快速增长对下一代移动通信系统,即5G系统,提出了更高的要求。作为5G的一种关键技术,大规模MIMO系统通过在基站侧配置大规模天线阵列可以显著地提升系统的频谱效率和功率效率。本论文针对大规模MIMO系统传输技术中存在的一些问题进行了研究,具体研究内容如下:首先,大规模MIMO基站侧庞大的天线数导致信道瞬时状态信息提取复杂度较高。本文利用无线信道状态信息的稀疏性,在传统DFT信道估计算法的基础上加以改进,提出了一种适用于大规模MIMO系统的低复杂度稀疏信道估计算法,仿真结果表明该算法可获得接近MMSE信道估计的性能。其次,在大规模MIMO系统中,随着基站侧天线数的增加,系统容量几乎完全受限于相邻小区的导频复用,这是系统设计最严峻的挑战。本文通过研究多小区多用户系统的导频污染特性,得出最严重的导频污染来源于采用相同导频的小区边缘处用户,利用不同用户统计状态信息非正交的特点,提出了一种基于用户与基站之间距离的智能导频分配方案。理论分析表明该方案可以使系统下行链路的信号噪声干扰比收敛于最优,仿真结果也表明该方案可以有效地提升大规模MIMO系统下行链路的性能。最后,大规模MIMO基站侧天线使用大量的A/D转换器对信号进行量化,其量化精度严重地影响了系统的能量效率。本文根据上行链路接收端A/D转换器的量化精度与系统能量损耗以及信息损失之间的关系,建立大规模MIMO系统量化模型,推导了A/D转换器的量化比特数和基站侧天线数与系统频谱效率以及能量效率之间的关系表达式。在保证能量效率最大的基础上,提出了一种基于PSO算法的最佳天线选择分组量化方案。仿真结果表明,低精度量的A/D转换器可以使系统能量效率达到最大,并且当系统采用PSO算法优化出来的最佳组合值时,无论相邻小区的大尺度衰落系数如何变化,系统的鲁棒性最好。