随着移动互联、物联网及大数据等业务概念的提出,数据流量成超千倍增长,这对作为传输主干道的光纤通信系统提出了迫切要求。基于数字信号处理(DSP)的相干检测结合高阶调制格式是实现光通信超大容量和超长距离的关键技术之一。在各光纤传输损伤中,克尔效应和放大器自发辐射噪声联合作用产生的非线性相位噪声是影响光纤传输容量的主要限制因素。因此为提高系统抗非线性相位噪声性能,本文综合研究发送端的调制格式设计以及接收端相应的补偿算法。论文首先详细介绍了相干光通信系统仿真模型,然后基于该仿真模型,重点研究新型调制格式即幅度相位联合调制(APSK)。主要创新成果包括：(一)针对发送端APSK调制格式的优化算法,本文提出了基于高斯概率分布检测器(GAP-D)的优化算法。该方案通过相位预补偿,将接收信号的概率分布函数近似为高斯概率分布函数,从而解决现有算法复杂度较高的问题。(二)针对APSK相干光通信系统,本文提出了基于支持向量机的非线性相位噪声补偿通用方案。该方案利用最优超平面对信号进行分类从而实现对非线性相位噪声的补偿。与现有的方法相比,优势在于：以接收信号为基础而无需了解信道特性,有一定的实际意义；幅度检测和相位检测是分开进行的,在一定程度上降低了误码率；适用于多种传输链路。基于以上创新成果,本论文主要针对三种APSK调制格式,即(4444-,88-,484-)APSK,采用多种传输模型对算法进行性能分析。仿真结果表明,与传统的QAM调制格式相比,利用GAP-D优化算法设计的(484)-APSK调制格式可以使相干通信系统的非线性容限提升1.8dB。而基于支持向量机的非线性补偿方案,比现有算法相比,系统的非线性容限均有所提高,且在考虑色散时,补偿性能仍然良好。