光纤通信系统正朝着高速、宽带和大容量的方向迅猛发展。密集波分复用系统适应了这种发展需求，40Gbps的DWDM系统已经开始逐步商用。传输速率的提高，使系统的色散容限明显下降。光放大器和低损耗光纤的广泛应用使传输过程中的损耗成为次要因素，色散和非线性成为影响系统性能的主要因素，而不同的信号调制方式又会对系统的非线性效应产生很大的影响。本文完成的主要工作有:　　 1.以非线性薛定谔方程为基础，推导了光脉冲在光纤中传输时遇到的各种线性、非线性效应的数学模型，并对相应补偿措施进行了理论分析和近似，导出光纤中的色散、非线性效应对DWDM系统影响的数学公式;　　 2.详细阐述了色散的分类，总结比较了几种常用的色散补偿方案，从理论上分析了各自的优缺点;对现有码型进行了总结，从理论上分析了这些码型在DWDM系统中性能，并加以仿真验证;　　 3.提出了一种改进型光双二进制信号预编码的方案（用于传输速率为40Gbps的系统），理论分析表明，这种方案可以有效地降低DWDM系统中因色散引起的码间干扰，并拥有恢复误码的能力;　　 4.对传输容量为16×40 Gbit/s、传输距离为500～2000 km的DWDM系统中的色散补偿方案及调制码型进行了研究，分析比较了不同调制方式（CSRZ（载波抑制归零）码、DRZ（双二进制归零）码和MDRZ（改进的双二进制归零）码）、不同色散补偿方案（前置、后置和中间色散补偿）对系统传输性能的影响。仿真结果表明，使用MDRZ调制码型对传统归零信号时所产生的杂散信号有很好的抑制作用，而使用CSRZ、ODB超过1500km后，会引起频谱的展宽和Q值的下降。当输入功率从-3dBm增加到0dBm时，Q值随之增加，输入功率超过1dBm后，非线性效应开始显现，由于FWM及XPM作用，Q值开始下降。中间色散散补偿方案比前置色散补偿和后置色散补偿有更好的补偿效果。得出当整个系统使用MDRZ调制方式和中间色散补偿方案时，Q值达到最高，系统性能最好的结论。