由于激光的波束宽度较窄且方向性较好,因此自由空间光通信技术相比较传统通信技术具有较强的机密性和抗干扰能力。涡旋光束相比较传统光束增加了轨道角动量这一新型自由度,利用这一新型自由度不仅能增大信息传输量,而且也能大大提高信息安全性。因此对涡旋光束在复杂环境中湍流效应、通信性能及轨道角动量识别的研究有助于真正实现涡旋光束在自由空间的应用。本论文主要根据相位屏方法和广义Huygens-Fresnel原理研究了拉盖尔高斯光束和贝塞尔高斯光束在大气和海洋湍流环境中的湍流效应。此外还研究了修正贝塞尔高斯光束和贝塞尔高斯光束在海洋湍流中的通信误码率。利用机器学习结合湍流效应的方法对接收端涡旋光束轨道角动量的识别进行了探索。主要研究内容以及所取得的研究成果包含以下几个方面:1、利用功率谱反演方法得到各向异性大气湍流相位屏,根据广义Huygens-Fresnel原理分别建立了拉盖尔高斯光束和贝塞尔高斯光束在各向异性大气湍流中的传输模型,并对湍流效应进行了相应研究,包括光强演化、光强闪烁、波束抖动和波束展宽。比较了拉盖尔高斯光束和贝塞尔高斯光束在同一环境下的湍流效应差异,比较了各向异性大气湍流与各向同性大气湍流对涡旋光束湍流效应的影响差异。结果表明在各向异性大气湍流中涡旋光束湍流效应要弱于各向同性大气湍流中的湍流效应,拉盖尔高斯光束相比较贝塞尔高斯光束在远距离传输上更占优势,贝塞尔高斯光束的无衍射和自愈能力保持距离有限,超出距离后展宽突然增大。贝塞尔高斯光束被认为更加适合短距离传输比如在海洋湍流中的光通信。2、利用功率谱反演方法得到各向同性海洋湍流相位屏,根据广义Huygens-Fresnel原理建立了贝塞尔高斯光束在各向同性海洋湍流中的传输模型。利用广义HuygensFresnel原理和Rytov近似理论求解了修正贝塞尔高斯光束在海洋湍流环境中在轴闪烁指数的积分公式。对修正贝塞尔高斯光束和贝塞尔高斯光束的湍流效应和强度调制的通信误码率进行了研究。比较了修正贝塞尔高斯光束与平面波,贝塞尔高斯光束与拉盖尔高斯光束误码率的差异。结果表明在海洋湍流环境中贝塞尔高斯光束能有效利用其无衍射和自愈能力,其湍流效应与光源参数和湍流参数有着密切关系。修正贝塞尔高斯光束在轴闪烁指数与光源参数和湍流参数也有着密切关系。其海洋湍流中的通信误码率均好于拉盖尔高斯光束和平面波。3、根据对涡旋光束湍流效应的研究提出了利用湍流效应结合机器学习识别涡旋光束轨道角动量的方法,根据支持向量分类机理论、遗传算法和涡旋光束湍流理论建立了识别模型。利用该模型分别模拟了大气湍流中拉盖尔高斯光束和海洋湍流中贝塞尔高斯光束的轨道角动量的识别,还提出了识别大量轨道角动量的方法。结果表明:利用湍流效应结合机器学习识别涡旋光束轨道角动量的方法不仅减少了训练样本数量,降低了学习难度,还提高了识别精度,使模型能在多种湍流环境中高精度地识别涡旋光束轨道角动量。该模型识别精度远高于螺旋谱展开方法,高于大部分神经网络方法。提出利用多模型联合识别大数量的轨道角动量,其识别精度略高于单一模型的直接识别。