随着以个人移动和固定宽带为代表的通信业务的不断普及，互联网和大型数据中心为代表的IT业务的迅猛发展，使得当前信息化社会对于网络带宽的需求达到了前所未有的高度。为了解决不断出现的“带宽消耗”型业务对光传送网带来的巨大压力，人们通过各种办法提高现有的光传输容量。由于单模光纤自身固有的非线性效应限制，以现在的趋势发展下去，单模光纤可能在未来不远的时间达到可以预见的“带宽耗尽”，因此寻求一种能从根本上解决单模光纤自身“带宽极限”的光传送技术成为重中之重，少模光纤的模式复用就是在这种大背景下应运而生的。模式复用技术利用少模光纤中有限的稳定模式作为独立信道传递信息，可以成倍的提高系统容量和频谱效率。是构建未来光网络的关键技术之一。本文在这一背景下对基于少模光纤的模式复用技术进行研究。少模光纤模式复用技术是一种新兴的光复用技术，本文从基本原理出发，论述模式复用系统的基本构成以及关键技术。通过推导麦克斯韦方程组，分析了少模光纤的相关模式特性。采用波导光学的方法研究了少模光纤中模式的正交性，为模式复用技术奠定理论基础；分别采用三种不同方法对模式复用仿真系统进行理论分析，探讨了各种建模方法的特点，为构建实际的模式复用仿真系统提供理论依据。在分析已有模式复用器/解复用器工作机理和特性的基础上，设计了一种基于非对称平面光波导的模式复用/解复用器，该器件兼具模式转换功能；分别建立了基于直接检测和相干检测的模式复用系统仿真平台，研究了不同系统损伤对系统性能的影响。论文的具体工作如下：首先，研究了少模光纤的相关模式特性。少模光纤是模式复用的物理基础，通过推导麦克斯韦方程组，分析了少模光纤的模式特性，仿真了双模光纤不同模式的空间光场分布情况；研究了模式的正交性，这是模式复用最根本的理论基础。其次，通过数学建模对少模光纤模式复用系统进行了理论分析，分别采用了耦合模理论法、非线性薛定谔方程法和矩阵传输法进行了分析，并研究了各种方法的特点，为建立模式复用仿真系统进行了理论铺垫。然后对模式复用的几种关键技术进行了论述，对相干接收时的数字信号处理算法流程做了较为详细的阐述，为后续处理提供算法支持。再次，对模式复用系统中的关键器件——模式复用/解复用器进行了研究，首先介绍了几种常见的模式复用/解复用器，分析了其工作原理和特点；设计了一种基于非对称平面光波导的模式复用/解复用器，经过波束传播法仿真分析得出，该器件能够良好实现模式复用/解复用功能和模式转换功能，并且易于互联、小型化和集成，是一种性能优良的模式复用/解复用器。最后，我们采用非线性薛定谔方程法与矩阵传输法相结合，分别构建了直接检测和相干检测的模式复用系统，通过改变模式耦合和差分模式时延等损伤，分析系统性能，并提出了改善系统性能的方法，为日后的研究做出初步的建议。