随着大数据、云计算、人工智能等各种新型业务的快速涌现和迅猛发展,通信网络的带宽需求也随之急剧增加。光纤通信系统作为骨干传输网络,必须朝着高速率、大容量、长距离的方向发展。在这个过程中,相干光通信系统因其具有灵敏度高、选择性好、中继距离长等优点逐渐成为新一代的光纤通信技术。然而光纤中存在着各种线性和非线性的损伤,这些损伤会使传输信号发生畸变,进而影响相干接收的解调和判决,严重地影响了系统通信容量的提高,因此在相干接收的DSP流程中对这些损伤进行均衡具有十分重要的意义和价值。本文主要研究了光纤色度色散和偏振模色散的产生原因和数学模型,以及它们对光纤通信系统的影响。同时对比研究了几种常用的色度色散补偿和偏振模色散均衡的算法,分析了现有算法存在的缺点和不足,并针对性的提出了一种改进的色度色散补偿算法和三种改进的偏振模均衡算法,从理论上论述了新算法的原理和实现方案,并进行了仿真验证。本文的研究工作包含以下几个部分:(一)研究了相干光通信系统各个模块的原理,以及相干接收中各个DSP模块的实现方案和关键技术。从理论上分析了光纤色度色散和偏振模色散的产生原因及其对通信系统性能的影响。对比研究了现有的几种色度色散补偿算法和偏振模均衡算法,分析了现有算法在不同方面存在的缺点和不足。为本文后面要提出的针对性改进算法提供了思路和理论依据。(二)提出了一种改进的色度色散补偿算法。该算法是基于FSM和LMS的联合补偿算法,通过在第一阶段使用FSM算法对固定的色度色散进行补偿,之后在第二阶段使用小抽头的LMS滤波器对剩余色度色散和信道噪声进行补偿,从而实现了更好的色度色散补偿效果。仿真结果表明,本文提出的新算法具有更好的抗色度色散扰动的性能,同时也具有比较好的信道噪声补偿效果。(三)提出了三种改进的偏振模色散均衡算法。第一个是基于可变星座匹配误差项的修正恒模算法,该算法实现了比传统修正恒模算法更快的收敛速度和更低的稳态误差;第二个是基于自适应动量项的级联多模算法,该算法继承了级联多模算法适用于高阶QAM调制信号的优点,同时实现了更快的收敛速度;第三个是基于卡尔曼滤波器的联合均衡算法,该算法与传统算法相比,克服了奇异性问题,同时获得了更快的偏振态跟踪速度。通过仿真实验分析,本文提出的这三个新算法在各自的不同方面都获得了不错的性能提升。