近年来,自由空间涡旋光通信以其极大的通信容量和极高的频谱效率在国内外引起了广泛关注,涡旋光所携带的轨道角动量理论上取值无穷且彼此正交,能够为光通信提供新的维度资源。然而,涡旋光在自由空间传输时,不可避免地受到大气信道的影响,导致承载信息的轨道角动量态间产生串扰,造成通信系统性能下降。本文围绕自由空间涡旋光通信检测技术展开研究,首先针对轨道角动量在自由空间中的传输特性进行分析,重点研究了大气湍流、大气散射和对准误差对轨道角动量传输的影响,然后针对这些影响导致的检测准确率降低,提出了相应的涡旋光检测技术,并进行了相关的理论分析和实验验证。本文的主要研究内容包括以下四个方面:（1）自由空间涡旋光轨道角动量传输影响因素分析。首先,以拉盖尔-高斯光束为例,介绍涡旋光轨道角动量的基本概念;然后对涡旋光大气信道传输展开研究,围绕涡旋光轨道角动量态的传输特性,分析了大气湍流强度和传输距离对涡旋光轨道角动量态探测概率的影响;随后,结合大气湍流理论和涡旋光束螺旋谱概念,给出了湍流和对准误差影响下的轨道角动量态探测概率解析表达式;最后分析了散射粒子与轨道角动量态的相互作用,利用时域有限差分方法,给出了散射粒子对涡旋光轨道角动量传输影响的基本规律。（2）在涡旋光轨道角动量大气传输影响分析的基础上,针对湍流效应、角向倾斜误差和横向偏移误差的影响,提出基于卷积神经网络的涡旋光束检测技术。首先采用一种卷积神经网络检测湍流影响下的涡旋光束,实验分析了不同湍流强度和传输距离条件下的检测性能,当nC2（27）1′10-1414 m-2/3,检测的准确率能够达到100%。;然后,针对角向倾斜误差,提出了一种基于角度池化的卷积神经网络改进方法,在全连接层与卷积层之间,增加角度池化结构,实现了多角度数据的联合训练,在不增加网络复杂度的前提下,提高了倾斜涡旋光束检测准确率,对于使用混合数据集训练的模型,在弱湍流情况下OAM态的检测准确率超过98%,在中等湍流条件下超过88%;最后,针对光束偏移误差,提出基于部分卷积的生成对抗网络与卷积神经网络级联的涡旋光检测神经网络模型,提高了偏移涡旋光束检测准确率,nC2=7′10-1414 m-2/3时,采用基于级联网络的检测技术,能够将信道容量提高25%左右。（3）采用复值神经网络检测涡旋光束,在原有幅值信息检测的基础上,同时进行涡旋光波前特征的学习,在不增加空间复杂度的前提下,提高了检测的准确率;针对神经网络运算时间长,难以满足实时性需要的问题,提出基于全光神经网络的涡旋光检测技术,主要包括纯相位型、纯振幅型和振幅相位混合型三种网络类型。在nC2=5′10-1414 m-2/3的数据集中,训练得到的三层混合型网络具有最佳的交叉检测表现,在最大的湍流强度(nC2=5′10-1414 m-2/3)数据集中取得了88%的检测准确率。（4）波前校正技术能够补偿大气湍流导致的畸变,减小湍流效应对自由空间涡旋光通信的影响。首先,提出一种基于生成对抗网络的波前重构技术,能够依据单张光强分布,恢复光束的波前分布,与现有基于生成的波前恢复方法相比,拓展了可恢复波前的范围,强湍流条件下,校正后的系统归一化信道容量约为校正前系统的3倍;针对传统随机并行梯度下降算法存在收敛速度较慢的问题,结合深度学习中Adam优化算法,提出一种自适应增益因子的迭代校正算法,通过仿真验证了该方法对于湍流环境具有更好的鲁棒性。本文研究成果在涡旋光通信系统涉及的信道传输理论、检测技术和波前校正技术等方面具有一定的理论指导意义。