相干光正交频分复用(CO-OFDM)系统结合了相干光技术以及正交频分复用(OFDM)技术,具有频谱效率高、接收灵敏度高以及对色散的鲁棒性等优点,是近年来光纤传输系统中研究的主流方向之一。然而,CO-OFDM系统容易受到相位噪声的影响,特别是发送端和接收端的相位不匹配,这将导致系统解调性能的迅速恶化。CO-OFDM系统中,由于采用了多载波调制技术,其符号周期较大,对相位噪声更加敏感,而相位噪声会破坏子载波间的正交性,极易引起公共相位误差(CPE)和子载波间干扰(ICI),从而恶化系统性能。同时,在该系统中,激光器相位噪声在色散光纤种传输后会转换为强度噪声,制约最大传输距离。CO-OFDM系统中的相干检测技术需要精确跟踪传输信号和本地振荡器输出之间的相位和频率,而激光器相位噪声会对其造成干扰。一种直接有效的方法是通过改进激光器的制造工艺来减小线宽,该方法可以减小相位噪声对系统的影响,然而增加了系统成本。因而,准确估计并补偿相位噪声是提升CO-OFDM系统性能的一个亟待解决的关键问题。本文的主要工作主要围绕CPE补偿算法、ICI抑制算法以及非线性判决算法展开,具体内容详述如下:首先,详细论述了CO-OFDM系统的基本原理、CO-OFDM系统中存在的主要损伤以及CO-OFDM系统采用的关键技术,并根据CO-OFDM系统模型建立了基于Opti System和MATLAB软件的联合仿真平台。其次,理论分析了CO-OFDM系统中的CPE相位噪声,分析了传统的基于导频辅助(PA)的CPE补偿算法的频谱效率问题以及传统的基于一维投影图(PH)的CPE盲估计与补偿算法及其带来的以为周期的相位偏差问题;在此基础之上提出了一种基于二维投影直方图导频辅助(PA-2PH)的CPE半盲估计与补偿算法,通过理论推导和仿真对比分析,进一步验证了所提出的算法的有效性。然后,针对CO-OFDM系统中非线性效应,分析了传统的基于硬判决解调的局限性,并根据CO-OFDM系统接收端信号的分布特性,提出将高斯混合模型(GMM)应用于CO-OFDM系统的非线性判决。该方案提出采用基于概率的软判决来补偿非线性效应,通过仿真分析验证了将GMM用于非线性补偿的可行性。最后,针对CO-OFDM系统中的ICI相位噪声,本文将机器学习中的主成分分析(PCA)算法和径向基神经网络(RBF-NN)思想引入到激光器相位噪声的ICI抑制技术中,验证了联合PCA和RBF-NN算法能有效抑制ICI。其中,PCA算法用于信号预处理,基于RBF-NN的ICI抑制算法将预处理后的数据送入RBF-NN进行训练并得到分类模型,从而实现进一步的ICI抑制。