随着社会信息化程度的不断提高、互联网应用的迅速普及与多媒体业务的日益增加,通信网络对传输带宽的需求呈现爆炸式增长,目前网络流量已接近现有传输技术的极限。发展新型传输技术以满足未来网络的增长需求已成为一个迫在眉睫的任务。以空分复用为主要内容的多维通信传输机制与组网方法的研究已经成为当前光纤通信领域令人瞩目的前沿研究方向和热点课题。模分复用属于空分复用的一个类型。模分复用传输系统以不同模式为信息载体,以少模光纤为传输链路,采用多输入多输出结构,尚有许多关键的科学问题亟需研究解决,诸如少模光纤传输链路中的随机模式耦合的对发送信号和系统性能的影响以及各种关键设备(模式转换器、模式复用器和解复用器、少模光纤放大器等)的内在机理及设计等。本论文主要基于国家重点基础研究发展计划(973计划)课题“多维复用光纤通信基础研究”,对模分复用传输系统及其关键技术进行了研究,最为主要的研究内容为模分复用传输系统接收端MIMO DSP的解模式耦合算法的提出与实现。论文的主要研究内容与创新工作如下：一、研究了模分复用传输系统的基本理论和关键技术研究了模分复用光纤中LP模式的传播特性,研究了多模传输的光场耦合和功率耦合理论以及矩阵传输耦合模型。通过收集阅读研究大量文献,对比总结,综述了模分复用传输系统的关键技术包括：发送端、模式转换器、模式复用解复用器、少模光纤传输链路、相干接收机、数字信号处理模块等。深入研究了上述技术的原理与实现方法。二、提出自适应步长多入多出恒模算法并用于解模式耦合通过对多维复用盲均衡算法中的多入多出恒模算法(MIMO-CMA)的学习,结合自适应数字信号处理的方法,在原有的MIMO-CMA算法的基础上提出了用自适应步长功能的多入多出恒模算法。并在不同耦合强度下,测量了四个模式的接收信号的误比特率和算法收敛性能。相对传统的MIMO-CMA算法在误码性能上有所提高。三、提出基于人工神经网络的多维解复用算法并利用该算法实现解模式耦合本论文首次提出一种新型的盲均衡算法。该算法采用基于人工神经网络(Hopfield神经网络)的多维解复用算法实现模分复用传输系统的相干接收端的解模式耦合。采用基于人工神经网络的多维解复用算法,可以实现在不同耦合强度下,相对于多入多出恒模算法,提升了四个模式的接收信号的误比特率性能,并减少了对数据量的依赖。