近年来,对大规模天线系统(Large-Scale Antenna System,LSAS)和毫米波(millimeter Wave,mmWave)通信的研究越来越引起学术界和工业界的重视。LSAS能够提供天线阵列的赋形增益,显著提高频谱效率。mmWave频段存在大量未分配的频率资源,可以极大地拓展系统的带宽。因此,LSAS和mmWave通信都极有可能成为5G系统中解决通信拥挤的重要技术。假如要在LSAS中实现全复杂度(全数字)的波束赋形,需要保证射频(Radio Frequency,RF)链数目和天线数目相同,使得每个天线阵元有独立的射频和基带处理单元,但这将导致系统高复杂度、高硬件代价等问题。因此,基于实际应用的考虑,数模混合波束赋形(Hybrid Beamforming,HBF)结构将会是很好的折中选择。在HBF架构的系统中,只使用有限数目的RF链,在性能损失可接受的情况下,降低了系统复杂度和硬件代价,是系统性能和复杂度及代价之间的折中方案。本文首先概述了天线阵列的基本模型和阵列响应,介绍了毫米波通信中常用的信道模型。然后分析了常见的基于波束调向、零陷波束赋形和最小方差无失真响应(Minimum Variance Distortionless Response,MVDR)的模拟波束赋形(Analog Beamforming,ABF)算法和基于迫零(Zero-Forcing,ZF)准则、最小均方误差(Minimum Mean Square Error,MMSE)准则、奇异值分解(Singular Value Decomposition,SVD)和块对角化(Block Diagonalization,BD)算法,以及基于码本的的数字波束赋形(Digital Beamforming,DBF)算法,进一步阐述波束赋形的原理和意义。其次,本文深入研究了下行基于信道空间、交替迭代、ZF和码本反馈的HBF算法,并且仿真比较了几种算法的性能,分析了其存在的问题和局限性。本文在数模混合架构下,提出了一种基于信漏噪比(Signal to Leakage and Noise Ratio,SLNR)准则改进的HBF方案。除此之外,本文针对FDD和TDD系统在数模混合架构下均无法获得完美信道状态信息(Channel State Information,CSI)的问题,利用TDD系统中的信道互易性,提出了一种基于上行训练的HBF算法。该算法通过上行训练,可以得到最佳的联合波束赋形矩阵,进而将最佳的联合波束赋形矩阵分解为模拟域波束赋形矩阵和数字域波束赋形矩阵,通过设计的模拟域波束赋形算法,可以在码本集中找到最佳的码本向量,组成模拟域波束赋形矩阵,最终通过最小二乘解,求得数字域波束赋形矩阵,完成下行波束赋形设计。