目前,光纤通信系统正朝着高速率、大容量的方向发展。骨干网传输速率的提高,使得光纤色度色散、非线性及偏振模色散对信号的影响将不能再被忽略。近年来,各种容忍度较高的新型调制格式纷纷被提出。同时,随着系统速率的提高,对偏振模色散的缓解必不可少,需要有响应速度高、稳定的偏振模色散自适应补偿器。此外,随着偏分复用系统和相干通信系统的发展,需要在接收端引入偏振态稳定装置。本文分别针对新型调制格式、光纤偏振模色散自适应补偿器、光信号偏振态稳定装置等三个方面进行了理论、仿真和实验研究。本论文的主要工作如下(黑体部分为创新性工作)：简明回顾了光的码型调制技术及在光调制中常用的马赫—曾德尔调制器的原理；并通过理论和仿真分析了DQPSK信号的时域及频域特性,得到了星座图、相位差图、眼图及不同占空比信号的频谱图。回顾了光信号偏振态的相关概念、表示方法,及光纤偏振模色散产生的机理和补偿方法,详细介绍了光域补偿方法。从理论上分析了光的8-DPSK格式的调制、解调原理；搭建仿真系统,分析了其时域和频域特性,包括星座图、相位差图、眼图及不同占空比信号的频谱图；并在“背靠背”系统的基础上,引入偏振模色散,分析了8-DPSK信号的偏振模色散补偿性能。从理论上分析了光的双偏振态DPSK信号和双偏振态DQPSK信号的调制、解调原理；搭建仿真系统,分析了它们的时域、频域特性,包括星座图、相位差图、眼图及不同占空比信号的频谱图；并通过仿真得到了两种调制格式的偏振模色散容忍度；另外,搭建了双偏振态DPSK格式的实验系统,实验上首次得到了双偏振态DPSK信号。》将偏振模色散自适应补偿器应用到DPSK和DQPSK系统中,得到了用作反馈信号的DOP与反应链路中偏振模色散一阶分量DGD的关系曲线,以及反应DOP信息的DOP地图；通过实验验证了补偿器的性能,得到了补偿前后信号的眼图,并验证了补偿器的在线跟踪性能。提出了一种新的偏振态稳定方案,可以将输入光信号的偏振态转换到任意输出偏振态,并将输出信号稳定在目标偏振态；通过实验验证了该方案的性能,分别以电脑系统和DSP系统作为中央处理单元,验证了该方案的偏振态转换能力和在线跟踪能力。