随着现代社会信息化进程的不断加快，用户对通信带宽的需求迅速增加，这就要求作为干线通信技术主体的光纤通信朝着高速率、大容量和长距离传输的方向发展。信道数据率从10Gbit/s发展到40Gbit/s，接下来又要进入更高的160Gbit/s，所引起的非线性效应已经非常严重；而为了提高谱效率而减小信道间隔又会增加光纤中的非线性效应；同时，信号传输过程中其它非线性效应的影响，例如：受激布里渊散射、受激拉曼散射、四波混频、交叉相位调制和信号串扰等，使得传输后信号性能急剧恶化，如何解决这些问题成了人们关注的焦点。 虽然研究人员早已观测到波导中光的偏振现象，但是直到九十年代才得到人们的利用。由于偏振态正交的信号间非线性作用非常弱，人们根据光信号的这一特点提出了偏振复用的概念。在本文中，主要讨论信道偏振交织复用(Polarization-Channel-Interleaved)的情况，它是在波分复用系统中相邻信道光信号的偏振态相互正交，这样既可以减小信道间隔，又可以有效降低非线性的作用效果。论文主要内容分为以下几个方面： 1.从光纤中光传输的波动方程出发，在考虑x和y两个偏振态的条件下，得到了波分复用系统中光纤非线性极化强度的矢量表达式，并且分析了光纤的随机双折射对它的影响；重点分析了不同偏振态的信号对四波混频效果的影响。 2.讨论偏振交织复用系统中信道间串扰。建立IM/DD系统的数学模型，利用高斯近似法估算系统误码率，并由仿真结果表明偏振交织信号之间的串扰得到了很好的抑制，能够极大的提高系统性能。 3.介绍了超长距离Raman+EDFA混合放大DWDM传输系统，本文设计的系统实现了C+L波段40×10Gbit/sWDM信号在普通单模光纤上传输3070公里的环路传输，并且光信噪比高于16dB；同时还实现了全拉曼放大4134公里环路传输。