通信传输系统的网络流量按照新摩尔定律几乎以每年都翻倍的速度爆炸式增长。相比传统的单纤单向系统,单纤双向传输提高了光纤的利用率,降低了通信成本,减少了资源损耗。同时能够在目前主流的波分复用(Wavelength Division Multiplexing,WDM)系统上平滑升级,提高传输容量,是通信系统扩容的有效方案之一。本文旨在对基于波长移位单纤双向传输系统进行仿真建模,色散优化及非线性抑制。论文首先调研了国内外单纤双向传输系统的研究进展,主要分析了光纤通信系统的线性及非线性传输特性。在此基础上,提出采用波长移位技术解决反向瑞利散射对系统的影响,同时在Optisystem仿真软件中搭建了基于光环形器单纤双向传输链路,实现了基于差分四相相移键控(Differential Quadrature Refrence Phase Shift Keying,DQPSK)8?40Gbit/sWDM单纤双向高速传输系统的性能仿真,结果表明:在8?40Gbit/sWDM系统下,单纤双向传输系统比单纤单向传输系统Q值提升14.9 dB,性能更优越。为了进一步提高单纤双向系统性能,提出了采用色散预补偿方案来抑制系统色散,以及采用非均匀信道间隔和非均匀色散管理的方案来抑制四波混频(Four Wave Mixing,FWM)效应,结果表明:在8?40Gbit/sWDM系统下,采用优化方案之后,单纤双向系统Q值提升11 dB。论文最后提出采用高频谱效率双偏振十六相移键控(Dual Polarization-16 Phase Shift Keying,DP-16PSK)码型,仿真了基于DP-16PSK的8?112Gbit/sWDM单纤双向高速传输系统,得到8个信道的星座图,结果表明:系统噪声干扰较小,解调信号16个相位点各自独立,十分清晰,完全可以正确解码,为下一代400G甚至是更高速率的商用通信系统提供了一种实现方案。