由于相干检测系统有着更高的频谱利用率与传输速率,其受到国内外学者的青睐。然而采用相干检测的系统面临着许多新的挑战,如非线性和色散效应、频率偏移以及激光器相位噪声等。有些效应,如色散,可以通过相关的光器件在光域进行补偿,而有的效应,比如非线性或频率偏移,很难通过光器件在光域补偿。随着数字信号处理技术(DSP)的飞速发展,采用基于DSP的相干检测系统得到前所未有的关注。本文主要研究相干检测光通信系统中的四类主要效应的DSP补偿算法,即色散与非线性效应、频率偏移以及相位噪声。本文首先介绍相干检测系统中的几个基本概念,并规范相关定义。然后本文开始介绍相关的基于DSP的补偿算法,以期补偿非线性和色散效应并进行频率估计和相位估。有些算法或复杂度较高或性能较差,作者通过理论推导或仿真的形式提出改进方案。首先,在色散与非线性共存时,为消除非线性相位噪声的影响,传统补偿算法需要对每个跨度做多次补偿。作者通过理论推导,提出改进方案,改进后的算法对每个跨度仅需要一次补偿,可(几乎)完全消除非线性效应造成的相位旋转。其次,作者提出一种对任意阶QAM均适用的频率估计算法,该算法以快速傅立叶变换为基础,通过引入粗估计与细估计,能够以较高的精度消除频率偏移；与同类算法相比,作者所提的算法具有时延恒定、存储单元需求较少以及稳定等特点。第三点,与基于4次方的算法相比,作者通过理论分析和数值仿真证明基于查表法的PSK频率/相位估算法有着更低的复杂度和更高的精度。最后,作者搭建了基于16-QAM相干检测的仿真平台,仿真表明,在考虑四类效应时,采用本文所介绍的方法能够正确地恢复出相关的比特数据,其误码率为2.1×10-3。