由于云计算、移动网络、大数据等新兴宽带消耗型业务在近年来不断取得突破性发展,全球用户数据流量的需求正在以惊人的速度增长。而进一步用于提高基于单模光纤（Single-mode Fiber,SMF）传输系统容量的技术选择有限,并达到了收益递减的地步。现在通过光纤传输高光谱效率的需求已经迫在眉睫。一种提高频谱效率的方法是通过利用光纤中的空间自由度来实现。当前使用少模光纤（Few-mode Fiber,FMF）/多模光纤（Multi-mode Fiber,MMF）的模分复用（Mode-division Multiplexing,MDM）技术已经引起了广泛的关注。MDM系统在FMF/MMF中使用多种模式来传输许多独立的并行数据流。MDM系统中的电场可以用一组正交的空间和极化模式表示。当在MDM系统的每个空间模式中使用SMF中利用的所有自由度时,总比特率与空间模式的数量成比例地增加。尽管MDM系统长距离传输不可避免地导致不同模式之间的耦合,从而导致串扰和干扰,但多输入多输出（Multiple Input Multiple Output,MIMO）数字信号处理技术（Digital Signal Processing,DSP）可以分离并行数据流。本文主要针对光纤MDM传输链路中线性传输损伤的影响,重点研究了MIMO检测技术,主要完成以下工作:（1）根据矩阵传输理论建立了具有D个偏振模式的MDM系统仿真模型,主要介绍了线性MIMO系统的某些基本端到端属性,研究了模式色散、模式耦合、模式相关损耗（Mode-dependent Loss,MDL）等线性传播损伤。（2）首先考虑了光纤MDM链路中累积MDL与环境干扰对模式耦合矩阵的影响,仿真建立了一个通用的光纤动态MDM传输系统。接着分析了累积MDL对模分复用传输系统的影响,同时施加不同强度的环境干扰影响MDM系统的模式耦合,紧接着介绍了自适应MIMO均衡算法—最小均方（Least Mean Square,LMS）和递归最小二乘（Recursive Least Square,RLS）算法,并将它们用来进行MDM信道动态补偿,最后使用均方误差（Mean-Square Error,MSE）作为指标评估了这两种自适应均衡算法的性能。仿真结果表明:累积MDL造成MDM传输链路性能损伤;两种信道补偿算法可以很好地补偿环境干扰对系统造成的性能损伤,但累积MDL的存在会使得补偿后动态MDM传输链路的性能变动较大,即最大似然（Maximum Likelihood,ML）解调后MSE的方差变化较大。（3）基于MDM系统中信干噪比（Signal-to-Interference plus Noise Ratio,SINR）的特点,即将其SINR的概率分布通过广义伽玛分布进行近似,提出了一种基于多级SINR阈值的改进的减少搜索算法（Improved Reduced-Search algorithm based on Multilevel SINR Thresholding,IRS-MST）。IRS-MST基于多个SINR阈值动态确定每个模式搜索空间的大小。此外,使用压扩函数来平衡搜索空间的大小和性能。仿真结果表明:对于不同累积MDL的MDM系统,IRS-MST可以实现接近ML的性能;与传统的IRS算法相比,IRS-MST算法的复杂度大约比IRS小5.4倍。