轨道角动量（OAM）模式之间的正交性和理论上其阶数的无限性,可使其在未来空分复用（SDM）通信系统中发挥重要作用,极大提高通信系统容量。OAM模式与传统光纤的本征模式之间虽有特殊的叠加关系,但存在相位奇点、光场中心强度为零。因此,支持OAM模式的光纤需特殊设计。本文重点围绕支持OAM模式的光子晶体光纤（PCF）设计开展研究,给出一种支持54个OAM模式的PCF结构,对其传输特性进行了深入分析;将该PCF与新型材料磁流体（Magnetic Fluid,MF）相结合,分析了其传输性能的磁可调性。本文的主要内容及创新点如下:1.从光子波动性出发,描述了OAM光束角动量与能量的比值关系以及OAM的模式特征,对OAM光纤的传输特性参数进行了总结,包括有效折射率、色散、限制损耗（Confinement Loss,CL）和非线性系数等。2.提出一种支持OAM模式传输的新型PCF结构,其中环芯传光层夹在内包层和外包层之间,内包层为一个较大的空气孔,而外包层由周期排列的空气孔和二氧化硅基础材料组成,外包层空气孔半径和每层空气孔的间距沿径向逐渐增大。该结构的好处在于可以增加光纤传输层和包层的折射率差异,能够有效限制光波在环芯内传输,即降低PCF的限制损耗,并可增加简并模之间的有效折射率差。采用Comsol软件进行了仿真,结果表明,该PCF可在1200nm到1850nm波长范围内稳定支持54个OAM模式的传输;具有平坦的色散曲线,在色散曲线线性度大于0.986以及误差小于4.2 ps/（7）nm?km（8）的情况下,拟合后的色散曲线斜率小于0.2p s/（7）nm²?km（8）;PCF的限制损耗在10^-11（25）10^-10dB/m量级,低于目前已有PCF的限制损耗;在1550nm波长处,PCF的非线性系数大约在1.0（25）1.6W^-1/km范围,略高于目前单模光纤的非线性系数。3.将磁流体填充到PCF内包层中,以施加磁场调节内包层折射率的方式研究了OAM模式的磁可调性。研究结果表明,在300Oe外加磁场强度范围内,随磁场强度的增大,简并模之间的有效折射率差减小,PCF的限制损耗变大(约在10^-5（25）10^-4dB/m量级),非线性系数由1.4W^-1/km减小到0.96W^-1/km。当磁场强度为150Oe时,1500nm波长处OAM模式的波导色散大约在20 ps/（7）nm?km（8）到250 ps/（7）nm?km（8）范围。