融合了相干检测和数字信号处理的数字相干光通信技术,为互联网业务与日俱增的带宽需求提供了富有潜力的解决途径。高阶调制格式作为提升数字相干光通信频谱效率的有效方法,也受到众多研究的青睐。然而,当通过提升调制阶数和信号传输速率来扩大系统容量的同时,信号受到光纤色散、非线性效应及ASE噪声的恶化也更为突出。通过对相干接收信号进行电域处理,数字信号处理技术开辟了一条高灵活性、低成本的传输损伤补偿途径。作为全文的基础,首先,作者通过Matlab搭建了数字相干光通信数值仿真系统。整个仿真系统由发送端模块、传输链路结构和接收端模块构成。其次,基于分布傅里叶算法的数字反向传输算法,是目前针对色散和非线性损伤补偿研究最多的算法,因此,本文通过数值仿真实现了数字反向传输算法对光纤色散和非线性的补偿,及通过相关反向传输算法来降低色散和非线性补偿复杂度。同时针对100Gb/s偏振复用16-QAM相干光通信系统对两种算法进行了性能仿真。此外本文也探讨了使用对称、非对称和修正非线性补偿计算位置的三种分布傅里叶方法实现的数字反向传输算法和WDM系统色散非线性补偿的方法。最后,作为本论文的创新点,作者提出了使用多元支持向量机作为非参方法来消除相干光通信系统中的非线性相位噪声。通过使用多元支持向量机进行非线性检测,从而达到提高系统非线性相位噪声容限的目的。此方法中,各支持向量机按照不同的二元分类策略对接收信号进行非线性分类。由于每个支持向量机的分类超平面均通过训练序列获得,所以此方法不依赖于传输链路具体参数。通过数值仿真,相比目前已有的算法,多元支持向量机算法均能取得更好的非线性相位噪声消除效果。