随着无线通信数据量的迅速增长,人们对无线传输速率提出了更高的要求。受频谱资源和频谱效率的限制,现有的第四代移动通信技术不能满足人们的通信需求。毫米波工作于30GHz以上的频段,能够提供10GHz以上的通信频带,极大的缓解了频谱资源的限制。大规模多输入多输出(MIMO,Multiple Input Multiple Output)技术的使用,基站端配备大型阵列,缓解了频谱效率限制。因此,研究者们将目光转向毫米波与大规模MIMO技术。毫米波波长较短的特性,使得大型天线阵列可以集成到有限的空间内,天线阵列提供的路径增益可以很好的弥补信号在传输过程的路径损耗。因此,毫米波与大规模MIMO技术的结合具有很大的潜力,是第五代移动通信技术标准的关键技术。本文的主要内容为毫米波多天线系统用户间干扰抑制的模数混合接收研究。实际上,毫米波多天线系统种类繁多,本文以毫米波大规模MIMO系统为例具体分析。此外,模数混合接收研究的重点是基站端混合波束成形的设计。因此,本文的研究重点是毫米波大规模MIMO系统基站端的混合波束成形设计。针对多用户毫米波大规模MIMO系统中存在的用户间干扰问题,提出了两种干扰抑制算法:最大化最小相位差的混合波束成形算法、分组优化的混合波束成形算法。本文的主要工作如下:首先,本文介绍了毫米波大规模MIMO系统的研究背景与意义。然后详细介绍了毫米波大规模MIMO系统混合波束成形技术的研究现状,以及本文的研究内容、取得的成果。其次,本文首先介绍了MIMO技术、大规模MIMO技术以及毫米波技术。而后介绍了毫米波大规模MIMO波束成形技术的发展历程、波束成形技术原理。之后介绍毫米波大规模MIMO系统的预编码技术,分别介绍了传统数字预编码、毫米波大规模MIMO系统的混合预编码。然后着重介绍了多用户毫米波大规模MIMO系统,分别介绍了作为性能参考的全数字迫零算法、基于施密特正交化的混合波束成形算法。再次,针对多用户毫米波大规模MIMO系统提出一种基于最大化最小相位差值的混合波束成形算法。算法利用信道增益门限和阵列响应向量的相关性从模拟波束成形向量码本中筛选出能够提供较高信号功率的向量集合。并且,利用模拟波束成形向量与主要传播路径阵列响应向量的相位差衡量用户间干扰,提出采用最大化最小相位差值的准则抑制最强用户间干扰。仿真分析表明相比于现有的混合波束成形算法,所提出的混合波束成形算法可以以较低的复杂度,提供更高的系统和速率。再次,提出了一种分组优化的混合波束成形算法。根据用户信道向量间相关性和相关性门限将用户分组,将相关性大的用户分为一组。然后,以容量最大化为目标,组内使用低维穷举算法选出基站模拟波束成形向量。考虑已分组用户模拟波束成形向量的影响,组间采用贪婪算法。仿真分析表明所提出混合波束成形算法系统和速率优于现有的混合波束成形算法。并且,相比于最大化最小相位差的混合波束成形算法,在信噪比为10d B时,分组优化混合波束成形算法的系统和速率是最大化最小相位差混合波束成形算法的1.5倍,其代价为更高的计算复杂度。最后,对整篇文章内容进行总结,以及未来研究工作的展望。