随着信息技术的飞速发展,探索具有新颖调制方式和更大传输容量的通信技术已成为了研究者们的研究方向之一。近些年,携带轨道角动量（Orbital Angular Momentum,OAM）的涡旋光束引起了人们的广泛关注。由于涡旋光束携带的OAM模式取值无限,且携带不同整数阶OAM模式的光束之间相互正交,因此涡旋光束能被有效地复用和解复用,并且将其作为信息载体应用到光通信中可极大地提升信道传输容量和频谱利用率。对于一套成熟的OAM光通信系统,其相关信道参数的高效检测是系统成功运行的关键。本文聚焦于研究OAM光通信系统中关键参数（包括径向参数和角向参数）的检测方案,旨在为提升OAM光通信系统的可靠性和实用性提供参考。文章的主要内容包括:（1）提出了基于共轭光场检测技术的径向参数（p模式）检测方案。在OAM光通信系统中,对于常用的拉盖尔高斯（LG）涡旋光束而言,其携带的径向参数p模式是信息传输的重要载体之一。其是否成功检测直接关乎通信系统性能的好坏,因此对p模式的检测至关重要。针对于此,本文基于p模式正交性基础理论,提出了基于共轭光场检测方案,并初步用于一个OAM复用/解复用系统:接收端首先计算接收涡旋光场与所有可能的共轭涡旋光场的乘积,并利用相移因子与质心计算来提升系统检测范围和准确性,最终通过在接收平面上检测二维光强阵列中不同衍射级中心是否有亮斑来判定是否完成对应位置处p模式的检测。同时,在仿真环境中建立了一个基于高阶p模式的OAM编码系统以验证上述方案的可行性:在发射端,使用具有不同p模式的LG模式的一系列全息图来实现多路复用涡旋光束的同轴传输,其中每个波束代表一个数据比特。在接收端,使用上述共轭光场检测方案对多路复用光束进行解复用和信息的有效解码。最后,对编码系统的性能进行了分析。（2）研究了大气湍流信道环境下基于深度学习技术的角向参数（OAM模式）检测方案。涡旋光束携带的OAM模式作为同样能拓展光通信维度的重要信息载体,探究其在复杂信道环境下的高效检测方案也势在必行。本文首先考虑到光信号在自由空间中传输会受到大气湍流的影响,通过采用随机相位屏方法来模拟真实的湍流信道环境。而针对湍流信道下OAM模式的快速高效检测,研究了基于深度学习技术的检测方案:一方面,在网络计算复杂度和识别准确率之间做出权衡,设计并建立了一个卷积神经网络（Convolutional Neural Networks,CNN）结构,实现了在不同大气湍流强度、传输距离、OAM模式间间隔等场合下OAM模式的高效检测。同时,比较了检测单个OAM模式与复合OAM模式的性能表现。另一方面,针对上述方案在长距离强湍流环境下检测准确度相对较低的局限性,采用了残差学习架构来加深传统CNN以实现更好的检测性能。测试了不同OAM传输系统下采用该CNN模型的OAM检测准确度,并分析了利用单一训练集和具有多种湍流水平的混合训练集来进行模型训练后,该模型适应未知湍流环境的能力。