自Allen发现轨道角动量（Orbital Angular Momentum）以来,学者们普遍认为将携带有轨道角动量的涡旋光束作为一种新型的信息载体光束用于光通信中可以显著地提升系统的传输速率和传输容量,并有望突破传统通信技术的容量极限。在实际应用中,涡旋光束的OAM模式检测是其最基本的技术。本文围绕OAM光束的产生及其模式检测问题开展了相应的理论仿真和实验研究,具体工作如下:（1）涡旋光束的产生及其半径精确调控研究。通过空间光调制器加载相应的衍射相位图,设计并搭建了相应的实验链路用于实验产生不同模式的涡旋光束。通过单透镜的使用,使产生的涡旋光束半径可调控,避免了接收装置由于涡旋光束半径过大而接收不完全的问题。仿真和实验结果对比,证明了该调控方法可用于OAM检测系统中的检测端对OAM光束的完全接收,并可进一步简化OAM模式检测的实验链路。（2）棋盘渐变光栅（CGCG）的设计及其OAM模式检测特性研究。本文结合棋盘光栅和光栅的渐变特性设计了一种棋盘渐变振幅光栅,并结合光栅衍射和双光束干涉理论,设计了一种OAM模式检测方法,只需通过判断中心光强的分布有无即可检测OAM模式,避免了需要通过识别衍射图中的条纹来识别OAM模式的问题。本文将棋盘式渐变振幅光栅与闪耀光栅特性结合,设计了一种棋盘式渐变二值化相位光栅。仿真结果表明,相位光栅相比于振幅光栅,提高了光栅的衍射效率,在远场衍射图中将光功率更多地转移到可识别OAM模式的有效信息上。（3）立方相位光栅（CPG）的设计及其OAM模式检测特性研究。本文结合艾里光束的相位特性和光栅的结构函数设计了一种立方相位光栅,并结合（1）设计了一种OAM模式测量方法。仿真结果表明,OAM光束经过立方相位光栅衍射后的衍射图中含有与入射光束OAM模式一一对应的信息。本文搭建了用于验证仿真结果的实验平台,从实验上证明了CPG模型对于OAM模式识别的效果。本文基于设计的CPG模型,从束腰、光栅参数、离轴距离三者之间的数量关系出发,分别从仿真和实验条件下提出并证明了三者之间的定量关系,OAM模式识别中对各个参数的适应性调整问题。总之,本文针对自由空间光通信中OAM模式检测问题,结合光栅衍射法和双光路干涉法,提出了棋盘式渐变振幅光栅用于OAM模式检测,仿真结果表明,该光栅在OAM模式检测中有良好的效果。结合闪耀光栅的特性,提出了棋盘式渐变二值化相位光栅,仿真结果表明,该光栅在OAM检测中有较高的衍射效率。通过结合艾里光束的相位特性和光栅结构函数,提出了立方相位光栅,并搭建了对应的实验链路。同时,通过单透镜的使用,不仅使OAM光束半径可控,还进一步简化了OAM模式检测的实验链路。仿真和实验结果表明,立方相位光栅在OAM模式检测中有良好的效果。最终,从仿真和实验上证明了基于立方相位光栅的OAM模式检测中光栅参数、离轴距离、束腰半径三者的定量关系,为OAM模式检测实验的适应性调整提供了一种新思路。