随着各种数据量的爆炸式增长和带宽限制,基于光纤放大器和传统密集波分复用的光通信系统已渐渐满足不了快速增长的信息需求。随着近几年对偏振复用技术的研究,采用两个正交偏振态独立传输信息,其不需要占用额外带宽,使得在已有复用技术的基础上增加了传输容量,且进一步提高了频谱利用率。与相干检测技术相结合,被广泛的应用在现代高速光通信系统中。在光通信系统中,随着光纤放大器的应用,光纤损耗对通信质量的影响可以忽略,所以目前人们把研究重点放在了色散补偿上。目前比较成熟的色散补偿技术主要在光域中进行的,多针对于直接检测系统,已经不能满足高速相干光通信的要求。本文将针对数字处理模块所使用的自适应算法进行研究,解决算法收敛速度和收敛精度对立的问题,并对高阶调制方式中使用的算法进行了深入的研究。文章的具体研究内容如下:(1)本文对电域均衡算法做了大量的理论分析,推导出算法收敛速度和收敛时间对立的问题,并介绍了目前针对这个问题的两种优化方案,通过对改进方案的分析发现其计算复杂要高于固定步长算法。所以本文针对这一问题提出了分段迭代步长的改进算法,分段步长中包含固定步长和变步长两种方式,将这种改进方式应用于最小二乘法和恒模算法中。通过偏振复用QPSK调制系统验证了方案的可行性。结果表明改进的分段步长迭代算法,在收敛速度和精度上要好于一般改进算法,且算法的计算复杂度较一般改进算法低。(2)对于16QAM调制方式方式,为了保证系统的高频谱利用率,目前所使用的均衡算法为无需参考序列的恒模算法。但是16QAM调制方式模值的个数不唯一,一般的恒模算法不能直接使用,针对这一问题提出了一种基于虚实分开计算的改进算法,这种算法可以降低模值个数,但是不能将模值变为唯一,且算法计算复杂度较高。所以针对这些问题本文提出了基于判决理论的改进恒模算法,这种算法利用接收信号模值唯一的特点实现恒模算法。通过分析,基于判决理论算法与虚实处理算法相比,结构更简单、均衡效果更好,计算复杂度更低。