随着计算机的迅速发展，大数据、云计算、物联网以及移动互联网等新兴产业的不断兴起，数据通信业务量呈指数增长，因此对光纤传输网的带宽提出了更高的要求。为了满足不断快速增长的数据流量，人们研究时分复用技术，波分复用技术，高阶调制格式，偏振复用技术等新技术，努力在单模光纤的基础上不断扩大传输容量。然而由于受到单模光纤的非线性效应影响，严重限制了其传输容量的增加。在这种背景下，具有巨大传输容量潜能的模式复用技术应运而生。模式复用技术是以少模光纤作为传输媒质，利用少模光纤中模式的正交特性，使不同模式承载不同信号独立并行的进行信息传输。同时，少模光纤的大模场面积，可以有效的限制非线性效应的影响，从而有利于提高系统的传输容量。本文对模式复用技术进行了深入研究，提出一种基于双模光纤布拉格光栅和光环行器的模式复用系统，成功搭建了2×2的模式复用实验系统，实现了两路不同速率的数字信号传输。本文的具体工作如下：首先从麦克斯韦方程组出发，分析了少模光纤中的模式。通过求解少模光纤的波动方程，着重分析了光纤中模式的电场分布情况。设计了一种四模光纤，给出了相关参数，同时模拟计算出四模光纤中各个模式的电场分布。然后详细介绍了模式复用系统理论及其关键技术。其次，从耦合模理论出发，对少模光纤布拉格光栅进行了理论推导和分析。设计了一个双模光纤布拉格光栅，确定了其参数，并且研究了双模光纤布拉格光栅中各个模式的传播常数与工作波长的关系。然后通过龙格库塔法对双模光纤布拉格光栅的耦合模方程进行求解，计算出其反射谱。同时，仿真了在不同模式功率比情况下，双模光纤布拉格光栅反射谱的变化情况。接着，利用相位掩膜法蚀刻了一个双模光纤布拉格光栅，并测量其反射谱，实验结果与理论分析相一致。再次，利用双模光纤布拉格光栅结合光环行器的实验结构，对所蚀刻的双模光纤布拉格光栅中的LP11模式自耦合峰的模式传输特性进行了实验研究。自制了环形腔结构光源，使光源的工作波长与双模光纤布拉格光栅中LP11模式自耦合峰中心波长相对应。在双模光纤布拉格光栅的反射端和透射端分别获得了LP11模式和LP01模式，并通过CCD成像系统对模式的光场分布进行了观察。然后，对双模光纤布拉格光栅中的其他耦合峰的模式传输特性也进行了深入的模拟分析。最后，利用LP01模式和LP11模式，设计了一种基于双模光纤布拉格光栅和光环行器的2×2模式复用系统，并且成功搭建了实验系统。实验中两路数字信号均采用不同的传输速率。接着，对不同传输距离的接收信号眼图等相关参数进行了测量，并对实验结果进行了详尽的对比分析。最后对全文进行总结，对基于双模光纤布拉格光栅的模式复用系统的性能进行了评价，分析了存在的问题，为模式复用技术今后的发展进行了展望。