相干光通信是下一代光通信主干网的关键技术。相比于传统的直接探测系统,相干探测通过信号光与本振的拍频可以获得更多的信号信息。更关键的,借助于高速数字信号处理技术,相干光通信可以将信号的重建和失真补偿放在系统接收端进行。因此,相干探测使得高阶调制格式和偏振态复用的应用成为可能,从而在原有时分复用／波分复用系统的基础上,进一步的提升通信系统的总容量和传输距离。高阶调制格式的应用使得相干光通信相比于传统系统有更高的单波长通道频谱利用率。相干接收机对光纤信道没有特殊要求,因此相干光通信可以使用已经铺设好的光纤线路。借助于数字信号处理算法,相干接收机以极小的代价补偿由光纤色散、偏振模色散及载波相位噪声等引起的信号失真。本文从相干探测的原理出发,分四部分总结了相干光通信系统并着重对相干接收机的若干数字信号处理算法做出了深入的研究。本文在分析相干光通信系统发射机信号调制的同时提出了一种新的降低硬件复杂度的方法。该方法在不显著降低信号质量的前提下减少了所需电信号的级数。在分析基于光混频器的相干接收机部分,本文提出以等效坐标系的方法理解与分析相干接收机并且给出了基于这种方法的信号正交化恢复算法。本文在数字信号处理算法部分主要提出了两种不同的自适应色散补偿算法,分别基于延时采样技术和符号采样误差检测技术。相较于其他的算法,基于延时采样技术的算法能够提供较大的色散扫描步长和可比的估计精度,而基于采样误差检测的算法则以较少的符号获得可比或者更高的估计精度。本文也给出了这两种算法与本质表达算法的关系并且通过蒙特卡罗仿真进行了算法的性能研究。本文对不同的自适应色散补偿算法在奈奎斯特系统中的性能表现进行了研究,并提出了一种新的适用于该系统的算法。本文归纳了采样相位恢复算法并进行了相应的分类。通过理论推导与分析发现,大部分工作于两倍过采样率的算法可以统一到一种经典算法,而工作于四倍过采样率的算法可以在对信号插值之后应用到两倍过采样率的接收机中。奈奎斯特系统由于其更高的频谱利用率也被广泛关注,因此本文对奈奎斯特系统中采样相位恢复算法的性能也进行了研究。结果证明,在光通信系统综合信道参数的条件下,只有某些算法能够正常工作。本文归纳了常用的偏振解复用算法。在经典算法的基础上,本文又提出了两种改进算法。在无载波频偏的系统中,改进算法可以实现在偏振解复用的同时恢复载波相位。通过一个相干接入网的实验验证,该算法可以无代价的替代经典的载波相位恢复算法从而降低接收机复杂度。另外一种改进算法则可以应用到更高阶调制格式中并且有更小的稳态收敛误差。