毫米波通信具有丰富的频带资源,能够满足未来移动通信中大带宽,低时延,高速率的通信需求,是5G通信系统中关键技术之一。毫米波波长较短的特性,导致其在传播过程中存在严重的路径损耗,为此可以利用大规模天线阵列带来的波束增益弥补毫米波在空间传播过程中的路径损耗。协作多点传输技术可以减少小区间干扰,提高系统的吞吐量,在传统的微波协作通信系统中,是利用全数字预编码技术来实现协作多点传输,全数字预编码需要为每根天线配置一个射频链路,这在大规模天线系统中就会带来高昂的硬件成本和功率开销,不适用于毫米波通信系统中。因此,面向毫米波通信系统中的协作MIMO预编码算法研究就显得非常重要。本文主要研究了毫米波系统的协作MIMO预编码算法,针对协作传输技术中两种主要协作传输模式下的毫米波系统预编码算法进行设计。首先,在多个基站为单用户联合协作传输的场景中,设计了基于广义低秩近似的混合预编码算法,该算法以获得基站到用户的最大化阵列增益为目标通过广义低秩矩阵近似的迭代算法求出模拟预编码矩阵,再根据模拟预编码矩阵得到的等效信道增益进行半静态协作集选择,然后通过对协作集的基带等效信道的奇异值分解得到数字预编码。仿真结果表明,该算法的频谱效率性能接近无约束全数字最优预编码算法的频谱效率性能,实现了毫米波通信系统中基站之间联合协作传输,提高小区边缘用户的频谱效率。其次,针对协作调度/波束赋形的协作模式场景中存在小区间干扰和用户间干扰的问题。设计了基于改进的信漏噪比的混合预编码算法,该算法设计模拟预编码矩阵以达到最大化的等效信道增益,接着利用等效信道在基带数字域进行数字预编码设计,在设计数字预编码时对传统的信漏噪比预编码算法进行改进,考虑信号在经过接收端基带数字合并预编码处理后的信号泄露。另外,针对信漏噪比预编码算法无法保证系统的公平性问题,提出了基于改进的加权信漏噪比混合预编码算法,在根据最大化等效信道增益求出模拟预编码后,根据包括用户端数字合并预编码矩阵在内的等效信道质量信息设计加权因子,使得等效信道质量较差的边缘用户受到来自其它用户的信号泄露干扰最小,从而提高等效信道质量较差的边缘用户通信速率。仿真验证表明所提的改进信漏噪比混合预编码算法的系统和速率比基于传统的信漏噪比混合预编码算法的和速率大,可以有效的解决小区间干扰和小区内用户间干扰,提高系统的和速率,提出的改进加权信漏噪比算法提高了信道质量信息较差的边缘用户的通信速率,增加了系统公平性。