随着互联网用户的不断扩张和宽带数据业务的急剧增加,全球骨干网通信系统的数据承载能力亟需提升。因此,研究超大容量信息传输技术成为未来光纤通信发展的必然趋势。经过二十多年的增长,单模光纤的容量迅速接近非线性香农极限,无法满足不断增长的容量需求。目前,通过增加复用维度(时间、频率、相位、偏振)来提高频谱效率的技术相继被提出,但被证明拓展容量空间有限。在此背景下,基于少模光纤的模分复用(MDM)系统应运而生。它通过模式之间复用的方式能够成倍提高系统容量,被视为有望解决当今通信系统容量瓶颈的极具前景的技术,因而迅速受到国内外学者的广泛关注。模分复用系统中不同空间模式总是经历不同的模式相关损耗,它会破坏各模式在传输过程中的正交性;此外,模式信号沿着光纤链路会发生随机耦合,这些将会严重影响系统性能。本文针对MDM系统,从模分复用的基本原理出发,搭建了MDM系统模型,重点研究如何利用MIMO数字信号处理技术来解决MDM系统中的模式串扰和抑制模式相关损耗,从而提高传输的可靠性。主要工作概括如下:第一,根据少模光纤模式传输理论,建立具有累积模式相关损耗的长距离3?3模分复用系统链路模型,将线状代数空时编码应用在MDM系统中。考虑到最大似然检测所具有的指数级复杂度,提出一种基于概率数据关联算法的MDM系统软输入软输出检测方案。通过使用“迭代式的高斯近似”,并且将潜在候选符号的概率作为软输入软输出信息,利用贝叶斯公式的近似形式获得各发送符号的判决概率。仿真和分析结果表明,所提算法能够同时获得较低的复杂度和近似最优的检测性能。第二,针对运用贝叶斯理论计算某一传输符号的后验概率通常非常困难,首先将经典马尔科夫链蒙特卡罗(MCMC)方法应用在MDM系统中,重点研究了基于Gibbs采样的MCMC算法在MDM系统信号检测中的性能。仿真结果证明了MCMC算法的性能优于其他次优检测算法,且复杂度只与模式数目和迭代次数有关。在此基础上,提出一种新的基于QRD-M算法的MCMC(QRD-MCMC)检测方案。该方案将QRDM算法与MCMC算法相结合,借助于QRD-M算法,减轻了现有经典MCMC检测的高信噪比问题。仿真结果表明,提出的QRD-MCMC信号检测方案能够实现近似最大似然检测的性能,在增加复杂度可以忽略的情况下,获得比经典MCMC算法更低的误码率。