进入二十一世纪,人类社会逐渐从信息时代步入数据时代。随着诸多新业务与新技术的不断涌现,数据业务以爆炸式的速度持续增长,现有的光纤传输资源正被快速消耗。因此,扩展传输带宽提高信息传输容量的需求日渐紧迫,寻求一种新的从根本上解决带宽需求矛盾的方法迫在眉睫。基于空间这一新的物理维度的空分复用技术不受非线性香农极限的限制,潜力巨大,是有望解决信道容量难题的热点技术。模分复用技术,是空分复用技术的一种,即利用多模光纤中模式之间的正交性,以不同的模式作为独立信道承载不同信息,使之同时在光纤中传播的技术方式。本论文主要基于国家重点基础研究发展计划(973计划)课题“多维复用光纤通信基础研究”,对模分复用中模式的产生、复用及控制的若干关键技术进行了研究,最主要的研究内容为自由空间中模式的转换与复用。论文主要的研究内容主要包括以下三部分:第一、推导并验证自由空间的模式转换与复用的主要原理,着重推导了折射率渐变型光纤和折射率阶跃型光纤中的模式理论模型,为后期选择相应的器件搭建实验平台打下了理论基础。第二、根据实验室已有的相位板和空间光调制器,基于4f系统设计和搭建了自由空间模式转换与复用光学系统,用高频滤波、超级像素等方法对实验系统进行了相关改进,并利用模拟退火算法对以空间光调制器为核心器件的空间模式激励系统进行了优化与改进。第三、探索新的空间模式转换、复用与解复用系统,研究多平面光转换系统的工作原理,并对光路进行仿真设计与分析,比较此系统与传统的空间模式转换系统的优劣。