由于传统的低频段通信技术已经无法满足日益增长的移动数据,毫米波频段具有大量可用带宽资源,成为解决这一难题的突破口。在无线局域网和无线个人局域网领域内已经出现了基于毫米波通信的国际标准,但在移动蜂窝通信系统中,大规模应用毫米波通信尚面临着许多挑战。首先,由于毫米波的波长较短,在空间传播的路径损耗严重,从而使通讯距离变短。其次,毫米波通信的带宽大、频段高,导致基带信号处理更为复杂、射频链路的硬件成本更高,而且基站往往需要采用大规模天线阵列,从而进一步增加硬件成本与功率消耗。另一方面,传统通信系统中采用的正交频分复用技术（Orthogonal Frequency Division Multiplexing,OFDM）虽能有效地解决宽带通信中的码间干扰（Inter Symbol Interference,ISI）问题,但循环前缀（Cyclic Prefix,CP）结构仍然浪费了部分频谱资源。此外,OFDM对载波频偏（Carrier Frequency Offset,CFO）敏感、具有较高峰均比（Peak to Average Power Ratio,PAPR）等特性也限制了它应用于毫米波大规模多输入多输出（Multiple Input Multiple Output,MIMO）系统。由于毫米波覆盖能力较弱,在不增加额外发射功率的前提下,提高功率放大器的效率就尤为重要。相对于以OFDM为代表的多载波波形,单载波具有低PAPR特性,功放效率更高。因此,本文主要研究单载波波形在毫米波大规模MIMO通信系统中的应用。本文的主要研究内容及贡献如下:首先,从波形原理出发,分别介绍了单载波波形、OFDM以及多种新型多载波形的波形（滤波器组多载波、通用滤波器多载波、广义频分复用等）原理。并且,以实验仿真为依据分析了各种波形的优缺点及适用场景。相较于传统的OFDM波形,单载波具有低峰均比、低复杂度等优势,这意味着单载波波形能较好地弥补大规模毫米波MIMO对功放非线性度要求高以及实现复杂度高等缺点,为后续内容研究提供了理论依据。其次,针对大规模MIMO下行链路通信系统中由信道多径传输引起频率选择性衰落的问题,提出了一种基于单载波的联合频域均衡与预编码设计。具体而言,对于大规模MIMO频率选择性信道,首先在基站端采用单载波频域预均衡,将频率选择性信道转化为平坦衰落信道,并获得平坦衰落信道下的信干噪比表达式。基于获得的信干扰噪声比（Signal to Interference plus Noise Ratio,SINR）表达式,在基站端采用传统的迫零均衡（Zero Forcing,ZF）和匹配滤波（Matched Filter,MF）做预编码设计消除用户间干扰和块间干扰。此外,利用大规模MIMO信道的正交性和大维随机矩阵理论,推导出了ZF和MF预编码矩阵的渐近表达式以及该预编码方案下的可达和速率。最后,利用近似的ZF和MF分别计算出单载波频域均衡与OFDM环境下的PAPR。试验仿真结果说明了,基于单载波的频域预处理方案相对于OFDM系统具有相似的系统性能,但单载波的PAPR更小,且复杂度主要集中在基站端。最后,针对毫米波宽带通信,提出一种基于透镜阵列的单载波上行时延补偿传输方案。利用透镜天线阵列的空间分辨率高特性以及毫米波信道的稀疏特性,在基站端通过对用户信号进行时延补偿,能克服信号经多径传播产生的ISI,将宽带信号变成多个并行的窄带信号,随后推导出用户的SINR表达式。基于系统和速率最大化准则,设计出最优的发射和接收模拟波束。实验结果显示,基于透镜天线阵列的单载波传输方案与传统的MIMO-OFDM有相似的系统性能,但前者拥有更低的系统复杂度和更低功率消耗。