具有轨道角动量(orbit angular momentum,OAM)的光束称为涡旋光束(Optical Vortices,OV),对应于不同的拓扑荷值,具备不同拓扑荷值的涡旋光束相互正交,理论上,拓扑荷值可以是任意整数。理想状态下,涡旋光束能够提高通信系统的传输速率与容量。然而,基于OAM的光通信系统往往会因为发射端产生的涡旋光束纯度低导致误码率增加或者能量效率低导致资源浪费;在接收端无法对涡旋光束高效的探测分离导致误码率增加。因此,将涡旋光束应用到空间光通信系统中,需要高纯度高能量效率的涡旋光束以及高效的探测。本论文通过深入研究涡旋光束产生与探测的相关问题,提出了优化设计方法,并通过数值仿真以及实验的方式加以验证。主要工作和成果如下:(1)提出了一种用于产生多模式叠加涡旋光束的相位全息图设计方法。仿真结果表明,与传统算法相比,该方法能产生更高能量效率与均匀性的多模式叠加涡旋光束。(2)详细分析了基于坐标变换的高分辨率涡旋光束探测技术,建立了数值仿真模型。针对该探测技术中纯相位型扇出光栅设计的复杂性,提出一种新的简化的设计方法,通过数值仿真,将其应用于基于坐标变换的涡旋光束探测系统,结果表明,相对于传统的坐标变换分离系统,加入简化的扇出光栅之后,涡旋光束分离系统的错误概率下降了 0.15以上,弥散程度下降0.35以上。(3)搭建了多模式叠加OAM光束产生以及探测实验平台,详细分析了实验平台各模块的工作原理,实验验证了提出的用于产生多模式叠加涡旋光束的相位全息图设计方法的可行性。