光纤非线性效应是制约光纤通信系统容量进一步提升的关键因素之一，随着全球通信业务的海量增长，现有光纤通信系统的容量已经接近非线性香农极限，研究如何克服光纤通信系统中非线性效应的影响，突破非线性香农极限具有重要意义。光纤非线性效应理论模型和补偿方法的研究也一直是光纤通信系统中的研究热点和难点，而现有的非线性效应理论模型还存在不够全面的问题，现有的非线性效应补偿方法则需要进一步提高性能、降低复杂度。基于以上背景，本论文研究了两种重要的相干光纤通信系统—双向拉曼超长跨距系统和波分复用(WDM, wavelength division multiplexing)系统中非线性效应的理论模型及补偿算法，提出了两种非线性效应理论模型，并基于理论模型的分析结果提出了三种补偿算法，主要研究内容和成果包括：
　　(1)建立了双向拉曼超长跨距系统中光纤非线性效应的理论模型。该理论模型除了考虑信号自身的非线性效应以外，还考虑了信号与噪声在非线性效应的作用下产生的非线性信号-噪声相互作用(NSNI, nonlinear signal-noise interaction)。该模型可以较为快速、精确地计算双向拉曼超长跨距系统中非线性干扰的功率，一定程度上弥补了现有的模型不太适用于双向拉曼超长跨距系统的缺陷。
　　(2)基于上述理论模型，提出了双向拉曼超长跨距系统中一种非线性前补和后补结合的非线性补偿算法，该补偿算法能在一种程度上减少系统中噪声和信号在非线性效应下的相互作用，抑制系统中的一部分NSNI，提高非线性补偿的效果。仿真和实验结果表明该方法能够有效地抑制双向拉曼超长跨距系统中的NSNI，在不增加计算复杂度的情况下，非线性补偿的性能比数字背向传播(DBP, digital back-propagation)算法提高1dB以上。
　　(3)研究了WDM系统中的光纤非线性效应对信号的影响，提出了一种能够较为全面地分析系统中非线性效应对信号影响形式的非线性效应分析模型。该分析模型可以分析系统中非线性效应对信号的影响形式，从而有针对性地制定相应的非线性效应补偿方法，提高非线性补偿的性能。
　　(4)基于非线性效应分析模型对WDM系统分析的结果，提出了一种联合补偿算法抑制WDM系统中的交叉相位调制(XPM, cross-phase modulation)。该联合补偿算法先采用非线性前补的方法使非线性效应对信号的影响形式更偏向于易于补偿的非线性相位噪声，然后采用相位恢复算法对非线性相位噪声进行补偿，最终抑制系统中的XPM。该联合补偿算法在11个信道1000km的传输仿真中能够提高信号的信噪比(SNR, signal-to-noise ratio)约0.4dB，与其它电域XPM盲补偿方法的性能相当，但是本论文的方法无需其它信道的信息，算法更简单且易于实现。
　　(5)提出了一种基于改进的判决导向递归最小二乘(DD-RLS, decision directed recursive least square)算法的非线性相位噪声追踪算法。改进后的DD-RLS算法具有更快的收敛速度，更好的噪声容忍度和更好的非线性相位噪声追踪性能，在与(4)中的非线性前补结合后可以有效地抑制XPM。在11个信道1000km的传输仿真中，该方法可以提高信号的Q2值0.8dB。该方法的增益要优于已有的非线性相位噪声补偿算法，而且计算复杂度也低于同类算法。