近年来,随着通信行业的迅速发展,5G技术、物联网、云计算、大数据等信息化带宽消耗型业务的不断涌现,全球网络带宽需求飞速增长。然而单模光纤由于固有的非线性效应,其传输容量已逼近香农极限。基于少模光纤的模分复用系统将少模光纤内多个正交的模式作为信号的载体,实现多路信号的同时传输,从而令通信系统的容量数倍提升。然而与单模光纤相比,少模光纤具有模式相关损耗、模式耦合以及差分模群时延等独有的损伤,这些损伤将会破坏模式之间的正交性,导致信号在传输过程中存在着严重的信道串扰和码间干扰,从而影响模分复用系统的通信质量。对于差分模式群时延、模式耦合等损伤对信号的影响,我们可以利用MIMO系统中的信号均衡算法对其进行有效补偿。但随着系统传输距离的增加,模式相关损耗将不断累积,当模式相关损耗积累到一定程度时,模分复用系统的信道传输矩阵正交性将会遭到严重破坏,这将导致传统信号均衡算法的性能急剧下降,甚至无法适用。因此,研究一种模式相关损耗损伤模分复用系统的解复用方法是本文的重点。本文的具体工作如下:首先,详细介绍了少模光纤的基本概念与结构,从数学的角度上对少模光纤的模式特性进行分析,并验证了空间模式之间的正交性。对少模光纤传输链路中模式相关损耗、模式耦合以及差分模群时延这三种损伤的生成原因以及损伤机制进行系统的研究。以此为基础,并结合矩阵传输模型建立了少模光纤传输链路的数学模型。其次,研究线性检测算法、干扰消除检测算法、球型译码检测、最大似然检测以及改进缩减搜索的最大似然检测算法在模分复用系统信号损伤补偿方面的性能。在搭建的6×6模分复用仿真系统中对以上算法的解复用性能进行仿真,并结合计算复杂度分析它们应用在模分复用系统中的可行性。最后,将格基约减技术与传统均衡算法相结合,来对模式相关损耗损伤模分复用系统进行解复用。先对格基约减和基于格基约减的解复用算法的原理进行详细论述,利用6×6模分复用仿真系统来检验该算法的解复用性能,对比了格基约减处理前后信道矩阵的条件数,证明了格基规约技术在强耦合条件下能够有效改善信道矩阵的正交性。在不同模式相关损耗的情况下,研究了基于格基约减的解复用算法的性能,验证了该算法能够成功地实现模式相关损耗损伤模分复用系统的解复用,且计算复杂度适中,对于实现长距离、大容量光纤通信传输具有重要意义。