新兴无线应用和业务不断涌现,高速无线接入需求迅猛增长,拥挤的微波频段已无法承载未来网络的海量高速宽带数据。毫米波频段拥有丰富的频谱资源,支持宽带信号传输,同时天线单元物理尺寸小,便于集成大规模天线阵列提供高增益方向性波束。毫米波通信具有巨大潜力,是未来无线通信系统的关键技术之一。由于毫米波信号传输特性与硬件实现限制,传统微波通信系统中的技术难以直接应用。鉴于此,本文对毫米波通信系统中的关键问题进行研究,主要工作包括以下四个部分:第2章推导了毫米波蜂窝网络的覆盖概率表达式。首先提出增强毫米波波束赋形模型,建立了波束主瓣宽度和方向性增益与天线单元数的函数关系。将波束对准误差建模为截断高斯随机变量,得到在不完美波束对准条件下波束增益。然后,考虑用户和基站位置随机特性,将基站位置建模为齐次泊松点过程,推导了网络覆盖概率便于求解的理论表达式。数值结果验证了表达式的准确性,并分析了网络参数,如基站密度、天线规模、误差大小等,对系统覆盖概率的影响。第3章分析了基于智能反射面（IRS）的多用户毫米波蜂窝网络的渐近可达速率和频谱效率。首先,在基站和IRS模拟预编码码本精度无限且用户有效信道的信道状态信息（CSI）完整反馈条件下,推导了用户渐近可达速率和频谱效率表达式。进而推导了模拟预编码码本精度有限条件下的渐近可达速率和频谱效率,并推导了频谱效率损失的上界。最后,采用基于信道相关的量化码本进行用户有效信道量化,推导了有限CSI反馈下的渐近频谱效率损失上界和高信噪比下近似表达式,并与采用随机矩阵量化码本的性能相比较。本章同时分析了用户数和量化比特数等对网络渐近性能的影响。数值结果验证了本章推导理论表达式的准确性。第4章提出了高铁毫米波蜂窝通信系统快速波束搜索算法。首先针对高铁场景中毫米波通信信道特性,将稀疏的信号传输路径建模为“生灭”过程。之后,将信道估计中的波束搜索建模为一个多摇臂赌博机（MAB）问题从而充分利用历史信息加速搜索过程。然后,将测量路径的速率作为奖励反馈,提出了基于上置信界（UCB）的快速波束搜索算法,并推导了算法期望累积遗憾的上界。数值结果表明本章所提算法能利用较少次数测量在较少横穿过程中逼近理论极限性能。第5章提出了毫米波微波混合蜂窝网络联合用户频段调度与发送预编码跨层优化算法。首先提出了不完美信道估计条件下用户可达速率的凹函数下界。基于该下界,在用户调度策略固定条件下,提出了基站毫米波和微波信号发送联合预编码优化算法。然后,提出该算法的拓展算法,用于求解全双模传输系统的用户调度和发送预编码跨层优化问题。最后,针对所有用户只能工作在单一频段的半双模传输系统提出了基于分支界定的和基于速率的联合跨层优化算法。数值结果验证了本章所提算法的有效性和优越性。