随着互联网业务、云计算等新兴技术的蓬勃发展,下一代光通信系统需要向高速、大容量的方向发展。波分复用(WDM)相干光通信系统能够提高系统容纳的信道数量,并且支持更高阶的调制格式。在WDM的基础上联合偏振复用(PM)技术能使系统的传输速率和容量成倍增加,是下一代光通信系统的备选方案之一。但是传输速率的提高和信道数量的增加会导致传输信号受到的噪声干扰更加严重,其中非线性噪声尤为突出。此外,高阶调制格式的传输信号对相位噪声干扰也更加敏感。因此,研究更准确、高效的噪声估计和补偿方法是下一代通信系统的必然趋势。本文在总结分析WDM相干光传输的关键技术的基础上,研究了高速WDM相干光传输系统中非线性噪声模型和噪声的补偿方法,重点研究了交叉相位调制(XPM)产生的非线性噪声的简化估计模型以及其中主要的相位噪声的补偿算法。本文主要研究工作如下:(1)提出了 WDM相干光系统中非线性噪声的简化估计模型,并仿真分析了集中式和分布式两种放大方式链路的非线性噪声,验证了分布式放大中相位噪声占据明显的主导地位。研究结果表明,在传输速率为32Gb/s,信道间隔为50GHz的16QAM光纤链路中理论计算的非线性噪声与估计结果的误差占比小于10-3,验证了模型的准确性。(2)提出PM-WDM系统中偏振模色散影响下的非线性噪声的修正估计模型,证明了非线性噪声的时间相关性和采用均衡技术进行补偿的可行性。仿真结果表明,PM-WDM多跨段的长距离光纤传输系统中,三阶非线性噪声与二阶非线性噪声的比值接近0.9,是不容忽视的修正项。(3)提出了基于局部凸规划的相位补偿算法,对算法的最佳搜索精度、硬件复杂度和噪声容忍度进行分析,并在仿真系统中与目前广泛使用盲相位搜索(BPS)、二级级联最大似然估计法(ML)等方法进行对比,与BPS相比算法复杂度降低了 7/10,和BPS+ML相比也降低了 1/4的复杂度,验证了本算法具有最低的算法复杂度和精确的补偿能力。