由于波分复用（Wave Division Multiplexing）通信系统的传输容量已逐渐逼近非线性香农极限,以少模光纤（FMF）为代表的模分复用技术与多芯光纤（MCF）为代表的空分复用相结合技术开始出现,解决了传输容量不足的问题。四波混频（FWM）作为少模光纤内部的一种非线性效应,在早期光通信网络中被视为限制通信系统传输性能的主要因素,但FWM也能广泛应用于光放大、模式转换、波长转换等多个研究方向。除此之外FWM还能用于高速光交换、超快信号处理、光学取样等新兴领域。本文主要基于渐变型折射率（GI）和阶跃型折射率（SI）少模光纤对模间FWM过程进行了详细的理论研究和仿真计算,利用其非线性耦合过程实现了模态间的转换。具体工作和成果如下:（1）基于GI少模光纤布拉格散射型四波混频（BS-FWM）模式转换研究。论文首先基于波动光学,从光纤非线性原理出发,推导少模光纤BS-FWM泵浦光与信号光随时空演化的方程组。由光纤中只存在两个光纤模式的模间FWM机理,总结出用于模式转换的BS-FWM非线性理论模型。其次,根据理论模型,借助遗传算法,优化设计了满足少模光纤BS-FWM相位匹配条件的结构参数（GI）。接着将获得的最优参数:光纤纤芯-包层折射率差（（35）G）和纤芯半径（Ga）参数分别变化10%、5%,以探究光纤结构参数变化对相位失配及相位匹配波长的影响。数值模拟结果表明BS-FWM的相位匹配条件对GI光纤的纤芯半径参数波动的容忍性相对较低,而对纤芯-包层折射率差的参数波动容忍性相对较高。最后通过经典四阶龙格库塔算法对BS-FWM过程耦合方程进行数值计算,并对影响转换效率和带宽因素（光纤长度、泵浦光功率、泵浦光波长）进行详细计算。结果表明所设计优化的GI光纤,在固定泵浦（P1）、信号（S）模式在相同模式（m）,泵浦（P2）为另一模式（l）的情况下,通过BS-FWM非线性耦合过程,可分别实现LP01模向LP11、LP21、LP02模式,LP11模式向LP21、LP02模式,LP21向LP02模式的模态转换。（2）基于GI和SI少模光纤相位共轭型四波混频（PC-FWM）模式转换研究,并与BS-FWM进行对比分析。推导少模光纤PC-FWM泵浦光与信号光随时空演化的方程组,总结出用于PC-FWM模式转换的非线性理论模型。同样借助遗传算法,优化设计满足PC-FWM相位匹配条件的GI和SI少模光纤结构参数。接着改变获得的SI光纤最优参数:纤芯-包层折射率差（（35）S）和纤芯半径（aS）参数都变化1%,以分析SI光纤最优参数变化对相位失配及相位匹配波长的影响。数值模拟结果表明PC-FWM的相位匹配条件对GI光纤的参数波动（纤芯半径、纤芯-包层折射率差）的容忍性都相对较高,而对SI光纤对两个参数波动容忍性都比较低。最后通过经典四阶龙格库塔算法对PC-FWM过程耦合方程进行数值计算,并对影响转换效率和带宽的因素进行详细计算分析。通过对比分析发现:在GI和SI光纤的PC-FWM过程中,由于SPM和XPM对非线性贡献,转换带宽会随泵浦光功率增加呈现逐渐增大趋势。结果表明所优化设计的GI光纤,在固定泵浦（P1）、信号（S）模式在相同模式（m）,泵浦（P2）为另一模式（l）的情况下;可以同时满足BS-FWM和PC-FWM相位匹配过程,分别实现LP01模向LP11、LP21、LP02模式,LP11模式向LP21、LP02模式,LP21向LP02模式的模态转换。但SI光纤仅能实现LP01模向LP02模式的模态转换。这一结果为发展高性能的模式相关全关信号处理功能器件,提供新的设计思路和方法支撑。