自从光纤应用到通信系统中以来,它的传输容量就越来越大,传输距离越来越远。当前,随着宽带网络的快速发展,光纤传输网正在从10G系统升级到40G系统乃至100G系统,传输速率越来越高。容量的大幅提升可以满足人们日益增长的需求,但随之而来的是升级中面临的众多难题。首先是,如何产生和接收比特率高达40G乃至100G的信号；再者,如何应对速率的提高带来的一系列光纤损伤,比如偏振模色散到了40G就已经极大的限制了系统的发展。针对第一个难题,主要利用新的调制码型来解决。传统的光通信系统是幅度调制系统,但是随着系统的升级,幅度调制系统就难以满足要求了,比如占据的信道空间太大,需要的信噪比太高,传输中的非线性效应很严重。于是基于相位调制的DPSK调制格式就被应用过来,与幅度调制相比,采用平衡接收方式的DPSK对信噪比的要求降低了3dB,抗非线性效应能力更强,而且有更大的偏振模色散和色度色散容忍度。为了进一步提高频谱利用率,更多级的(D)QPSK、(D)8PSK被采纳,它们分别有高达2bit/s/Hz和3bit/s/Hz的频谱效率。此外,随着调制技术的进一步发展,信息载体也从幅度、相位扩展到了偏振态、频率中,发展出来频谱效率更高的偏分复用系统和光正交频分复用系统。针对光纤链路中随着传输速率提高日益增强的线性效应和非线性效应带来的信号损伤,需要利用均衡技术进行处理。均衡技术分为被动均衡技术和主动均衡技术。被动均衡技术是一种缓解措施,比如采用性能较好的高级调制码型,如前所述的相位调制码型就可以增强抗非线性效应的能力,提高对偏振模色散和色度色散的容忍度,但是被动均衡技术作为一种“预防式”的均衡技术难以消除损伤对系统的限制作用,必须利用具有补偿功能的主动均衡技术才能够补偿这些损伤。主动均衡技术,或者称为补偿均衡技术可分为光均衡和电均衡,典型的光均衡有色度色散光补偿器,偏振模色散光补偿器,相位恢复器等；针对不同的效应电均衡也有相应的补偿措施,不过最近随着相干接收技术的发展,大部分的电均衡都可以在接收机的数字处理模块进行。本文重点研究了被动均衡技术中的几种新型码型技术,以及主动均衡技术中的相位再生器、偏振模色散补偿器两种光均衡技术和相干接收电均衡技术。主要工作有以下几部分：(1)仿真和实验分析了几种重要的新型码型,比如相位调制码型DPSK、(D)QPSK、(D)8PSK；然后并实验对比验证了偏分复用系统的两种解复用方案：直接解复用和相干解复用,结果证明在高速的传输系统中还是相干接收解复用的效果好；此外,我们还提出了两种产生16QAM的方法,大大简化了发射机结构；利用光OFDM产生了400G的信号；(2)针对相位调制码型,分析了其线性噪声和非线性噪声的来源,然后分析了一种基于相位敏感放大器的相位再生方案,并由此提出了几种扩展到多级相位调制系统的相位再生器；(3)分析了偏振模色散光补偿的原理,并设计制作出了一种可用于40G系统的偏振模色散自适应补偿原型机,该原型机在实际链路中测量时表现出了很好的性能；(4)分析了相干接收机中的各算法处理模块,并具体实现之,然后在实验中得以验证；(5)提出了一种基于平行偏振双泵浦的400G信号波长变换方案。总之,本论文的工作集中在对高速光通信系统中的光均衡和电均衡技术研究,从要解决的问题的物理原理出发,根据相应的数学模型,提出了一些新的解决思路,找到了行之有效的解决方案。另外,本文中研究的大部分问题都是当前实际应用中亟需解决的难题,研究结果也为这些难题的解决提供了一些方案。