为满足无线通信业务量的迅猛增长及接入终端数目的海量增加,业界现已启动对第五代(5G)移动通信系统的定义与标准化工作。5G移动通信系统需要实现的核心指标之一是将频谱效率和功率效率在现有基础上提升一个量级,为此5G系统需要全新的架构支持,设计全面、智能、高容量的回程网络进而成为5G系统的关键任务之一。采用高阶星座调制信号以保证高吞吐量的回程链路对相位噪声极度敏感,这在根本上限制了系统传输性能,因此,相位噪声对回程链路容量的影响引起了广泛关注。本论文针对受到相位噪声影响的多天线系统性能和接收机设计展开研究。首先,本文研究单个振荡器驱动的共相位噪声多天线系统性能,推导了西阵和非酉阵信道矩阵场景下系统容量界表达式。在酉阵信道矩阵场景中,利用互信息量和熵的性质推导出容量上界和渐近容量表达式；在非西阵信道矩阵场景中,将M×M维多输入多输出(MIMO)系统分解成一个单输入单输出(SISO)系统和一个M-1×M-1维MIMO系统,利用SISO系统估计相位噪声当前采样值并用估计结果消除M-1×M-1维MIMO系统中相位噪声带来的干扰,上述方法将第二部分系统化简成加性高斯白噪声(AWGN)系统进而利用注水法得到准确的容量表达式。此外,利用因子图(FG)数值仿真算法模拟了正交振幅调制(QAM)下系统实际的速率曲线并与表达式进行了对比,仿真结果表明,推导的容量界和渐近容量表达式能准确地反映出系统实际容量。接着,本文研究不同振荡器驱动的独立相位噪声多天线系统性能,推导出不同天线配置下系统容量界表达式。先利用互信息量和熵的性质得到受到独立相位噪声影响时单输入多输出(SIMO)系统和多输入单输出(MISO)系统容量的表达式,在此基础上讨论了如何达到上述系统容量等实际问题,进一步考虑独立相位噪声影响下的MIMO系统,将MIMO系统分解成多个MISO系统,利用其中某个MISO系统估计得到的发送相位噪声采样值消除其余MISO系统中发送相位噪声过程,上述方法保证其余MISO系统都只受到各自接收相位噪声的干扰。此外,利用FG数值仿真算法模拟了QAM下系统实际的速率曲线并与表达式进行了对比,仿真结果表明,推导的容量界表达式能准确地反映出系统实际容量。然后,本文研究两收两发多天线相位噪声系统的空分复用增益,描述了高信噪比下容量变化的特性。一方面,分别关闭收发双端的一根天线将系统简化成单天线系统,利用“可达性”原理推导出空分复用增益的下界;另一方面,对系统进行变换并假设变换后系统的输出满足多维Gamma联合分布,利用对偶性原理得到空分复用增益上界,由一致的上、下界结果得到准确的系统空分复用增益。研究结果表明,两发两收多天线相位噪声系统与单天线相位噪声系统有相同的复用增益,即在相位噪声系统中增加发送天线和接收天线不能增加系统的自由度,揭示了相位噪声系统与AWGN系统的本质区别。最后,本文研究相位噪声系统中最大似然接收机的设计,提出了一种只涉及相位噪声均值和方差的判决准则。先对相位噪声系统中最大似然接收判决准则进行了分析,利用泰勒展开将原始判决准则表示成相位噪声条件概率密度函数各阶中心矩的权重和。为降低接收机计算复杂度,在此基础上提出只保留前几项中心矩的简化判决准则并且推导得到简化判决带来的符号错误概率(SEP)表达式,基于SEP表达式讨论了各参数对判决带来的影响。以只保留前两项中心矩的简化算法为例给出具体判决准则和分析,该简化判决准则只涉及相位噪声的均值和方差,适用于实际系统操作,仿真结果表明,只保留前两项中心矩的简化判决准则能够在降低操作复杂度的同时保证较低的系统SEP。