毫米波因其广阔的频谱资源成为了5G的研究重点。受益于其较短的波长,研究人员通过增加天线,引入大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）技术,结合波束成形来抵抗路径损耗带来的性能丢失。数模混合的波束成形方式因其平衡性能与功耗的特点,成为了毫米波系统波束成形设计的主流方向。其次,全双工（Full-Duplex,FD）通信模式理论上可以达到两倍于半双工（HalfDuplex,HD）的通信速率。但在实际系统中,系统性能会严重受限于节点的自干扰（Self-Interference,SI）。因此,运用数模混合信号处理技术设计自干扰消除（SelfInterference Cancellation,SIC）方案是打破FD系统通信速率限制的关键。此外,在实际系统中,精确的CSI难以获取。所以,基于不完美CSI的波束成形设计更具有现实意义。本文对毫米波HD、FD系统在不完美CSI下的鲁棒数模混合波束成形设计展开研究,其内容分为以下两个方面:1.本文首先针对点对点HD系统,以基于压缩感知的单边相关信道估计误差模型来描述系统的CSI,提出了适用于该信道误差模型的鲁棒数模混合波束成形设计方案。首先以系统均方误差（Mean Square Error,MSE）为设计准则构造优化问题,并通过矩阵单调优化理论求解全数字预编码器和数模混合合并器。然后采用具有闭式解的基于最小二乘的分解算法将全数字预编码器分解为混合形式。仿真结果表明,所提出的鲁棒数模混合波束成形设计优于现有的设计方案。2.本文针对FD系统,采用双边相关信道估计误差模型描述系统CSI,提出了一套鲁棒数模混合波束成形设计方案。首先构造等效SI信道,并通过其零空间构造SIC处理器。接下来,通过波束成形模拟部分最大化射频端的等效信道增益。然后,使用加权最小均方误差最小化与互信息最大化的等效关系迭代求解数字部分波束成形处理器。最后,将SIC处理器添加到数模混合合并器之间,完成整个系统波束成形设计。仿真结果表明,所提出的FD鲁棒数模混合波束成形设计方案优于现有的设计方案。