为了满足未来无线数据传输爆炸式的增长,5G(第五代移动通信技术)移动通信系统对频谱效率和能耗效率提出了更高的要求。在5G关键技术探索中,大规模MIMO(Massive MIMO)技术能够深度挖掘空间维度无线资源,大幅度提升无线通信系统的频谱效率和能耗效率,脱颖而出,成为支撑未来新一代宽带绿色移动通信最具潜力的研究方向之一。而有关研究工作尚处于起步阶段,存在着具有挑战性的基础理论和关键技术问题有待深入系统的研究。因此需要在此领域展开大规模MIMO无线通信理论和技术研究,包括复杂无线环境中大规模MIMO信道模型和信道容量分析、信道状态信息获取理论和技术等。本文首先介绍了多天线技术的演进及下行多用户MIMO关键技术,探讨了新型的多天线技术在信息理论容量、下行预编码技术、空间信道模型、信道估计、信道检测等方面的研究现状,以及大规模MIMO在这些关键技术问题上面临的挑战。然后对大规模MIMO下行有限反馈预编码技术展开研究,提出了优化信道状态信息获取的方法和有效的用户选择算法。所提的优化信道状态信息获取的方法通过对码本进行子采样和预编码索引值重排,能够有效地减少反馈的开销,降低反馈信道传输发生差错所带来的性能损失。同时针对大规模MIMO发射天线数达到一定数量级,传统的用户选择算法复杂度呈指数性增加的问题,提出了基于量化预编码的用户选择算法。该算法利用凸优化的方法获取了一组最佳的用户集,充分考虑了用户选择算法复杂度问题和系统性能等问题,适用于大规模MIMO。考虑到搭建更接近实际的信道模型对大规模MIMO传输技术的研究具有重要影响。因为只有对MIMO信道进行了足够精确的建模,建立精确的无线信道模型来描述MIMO信道特性,才能更准确的对新技术进行链路级或系统级的仿真。因此本文除了从下行预编码方面的优化来适应大规模MIMO的发展,本文还从信道建模方面着手,搭建了更能描述实际信道情况的新信道模型。该信道模型充分考虑了垂直维度的信息,扩展了当前2D信道模型,完成了3D信道建模,并对该信道模型从下列指标进行了校验,包括用户分布、耦合损耗,宽带信干噪比以及特定天线配置下的信道特征值分布情况。这种新的信道模型,实现了3维空间的信道建模,能够更精确的描述实际信道,有利于用来评估大规模MIMO技术。