在人工智能、高清视频等新兴技术快速发展的今天,全球数据流量呈现指数增长的趋势,时分复用和调制编码等传统的增加单模光纤容量的技术已经达到极限。空分复用技术通过挖掘空间这一新的维度可以成倍提升光纤通信系统的传输容量,主要包括多芯光纤和模式复用两种形式。模式复用技术将少模光纤中传输的有限个正交模式作为独立的信道传输信息,可成倍地提高光通信系统的传输容量。但是,在实际的少模光纤中由于制造工艺缺陷及外部环境的不利因素导致模式之间发生耦合,造成信道串扰。同时,色度色散、模式色散和偏振模色散等链路损伤,都会严重影响系统的传输性能。因此,如何补偿光纤链路损伤,实现接收信号的解复用是模式复用(Mode Division Multiplexing,MDM)系统的研究重点。本文围绕模式复用系统的模式耦合问题,首先介绍了少模光纤的模式及其链路损伤,依据矩阵传输理论推导了模式复用系统的传输模型,并引入频域恒模盲均衡和频域多模盲均衡技术来解决光纤链路损伤,从而实现解复用。本文的主要工作包括以下几个方面:(1)分析了少模光纤中的链路损伤:模式耦合、模式色散和偏振模色散,推导了 6×6偏振模式复用系统的强弱耦合矩阵,并以此为基础建立少模光纤链路的仿真模型,推导了光纤链路的仿真流程。研究了接收端数字信号处理模块中的频域均衡算法,介绍并推导2×2 MDM系统中的频域恒模盲均衡算法和频域多模盲均衡算法。最后,将两种算法扩展得到6×6 MDM系统。(2)对比了频域恒模盲均衡(Frequency Domain Constant Modulus Algorithm,FD-CMA)和频域多模盲均衡(Frequency Domain Multi-Modulus Algorithm,FD-MMA)算法的均衡性能。对基于包含LP01模、LP11a模、LPi1b模及每个空间模式偏振模的6×6偏振模式复用系统进行仿真,从误码率和均衡后星座图两方面对比FD-CMA和FD-MMA算法。仿真验证,在6×6 PDM-MDM系统中,当发送QPSK信号,误码率达到10-3时,使用FD-MMA比FD-CMA算法的光信噪比(Optical Signal Noise Ratio,OSNR)提升了 ldB;当发送 16QAM 信号,使用 FD-MMA 算法比FD-CMA算法的OSNR提升了 3.5dB。在2×2 MDM系统中,当发送QPSK信号,误码率达到10-3时,FD-MMA算法与FD-CMA算法所需的OSNR基本相同;当发送16QAM信号,使用FD-MMA算法比FD-CMA的OSNR提升了 2dB。因此,当发送端为非常数模信号时,FD-MMA算法的均衡性能更好。(3)基于6x6 PDM-MDM系统,仿真多速率多调制格式共存时两种算法的性能,从均衡后星座图可以看出,不同速率共存时,FD-MMA算法均衡效果更好。