随着目前通信业务量的不断增长,人们对通信容量及通信速率的要求越来越高。高速光纤通信系统正由原来每波长信道40Gb/s升级到商用化的每信道100Gb/s,实验室也在探索单根光纤实现Tb/s乃至Pb/s的传输系统。因此,一方面我们需要不断研究新技术来满足高速大容量的通信需求；另一方面需要考虑解决速率升级所带来的一系列问题：如色散,非线性效应,偏振效应等问题。论文围绕着这两个问题展开研究。针对第一个问题,主要采用新型码型调制格式与复用技术相结合来实现。目前DQPSK,16QAM等高级调制格式与偏分复用,频分复用技术相结合成为实现太比特高速光纤通信传输系统的研究热点,其中频分复用技术中基于循环频移器的频率锁定多载波产生方案,是实现太比特传输的一个关键技术。针对第二个问题,光纤链路升级会使一些线性和非线性效应变得更加明显。这就需要对各种损伤进行缓解补偿。目前对于信号损伤的补偿方式大体分为两种,一种是直接接收系统中光域或电域的补偿。另外一种是相干接收系统中应用数字信号处理模块中的各种均衡算法,实现对色度色散、偏振模色散和非线性效应等损伤的有效补偿。针对以上两个问题,本文分别研究了各种码型的调制技术,偏振控制技术及多载波的产生及应用。重点研究了一种光域的偏振模色散补偿器(OPMDC),实现了在委托方的单信道43Gb/sRZ-DQPSK波分复用商用系统中正常运行,在偏振态、差分群时延及偏振主态实时快速变化条件下,完成了偏振模色散(PMD)的自适应补偿。另外研究了基于循环频移器的多载波产生及其应用于2.56Tb/S CO-WDM传输实验系统。主要研究工作分为以下几个部分：(1)研究了光纤通信系统中几种常用的调制码型,包括幅度调制码型(OOK、PSBT),相位调制码型(DPSK、DQPSK),正交幅度调制码型(16QAM)。理论分析了各种码型的产生和接收方案,并进行了仿真和实验验证。最后讨论了及偏分复用解复用技术方案,为后续研究的开展奠定了良好的基础。(2)理论研究了偏振模色散补偿原理和实现方案,成功研制了国内第一台商用光域偏振模色散补偿样机。同时在实际系统中对样机的工作性能进行了测试,实现了43-Gb/s RZ-DQPSK信号在1200-km光纤传输链路中12小时无误码传输。该样机指标超过了美国同类产品OTS-5450PMD补偿器。论文最后分析了偏振稳定的工作原理,并进行了实验验证。(3)研究了基于单边带调制器的频率锁定多载波光源的产生原理和实现方案,讨论分析了影响其平坦度及稳定性的各种因素,包括单边带调制器本身的不理想、加载的直流偏置电压不准确、以及加载的射频信号不平衡；滤波器的性能不理想；放大器的输出功率及偏振控制器的作用。根据以上分析研究,实验中优化关键参数,做好器件选型,产生了50个高平坦度、高稳定度的多载波光源,其最大峰值功率差和方均根(RMS, root mean square)分别为1.5dB和0.3dB,超过了国内外同行的研究指标。(4)应用高质量的多载波光源,搭建了2.56Tbit/s传输实验系统,分析了其传输性能。另外,首次创新地利用多载波光源加载不同调制信号作为相邻信道,模拟实际WDM混合传输系统。并研究了交叉相位调制产生的非线性效应对256Gb/s PDM-RZ-16QAM信号性能的影响。总之,本论文的工作集中在对高速光纤通信系统中偏振控制技术和频率锁定多载波光源产生和应用做了较为系统的研究。从目前亟需要解决的实际问题出发,建立了相应的物理模型和数学模型,提出了一些创新的研究思路和解决方案,并进行了实验验证。