随着微波通信频谱资源的愈加紧张,人们对通信速率、通信容量的要求却越来越高,自由空间光通信（Free Space Optical Communications,FSO）因其大容量、宽频谱、抗干扰能力强等优点渐渐成为人们研究的重点。另外,轨道角动量（Orbital Angular Momentum,OAM）光束的提出,为空间光通信带来了一个新的调制维度,使得OAM键控FSO系统吸引了大量学者的关注与研究。然而,对于OAM键控FSO系统来说,大气湍流带来的相位畸变和光强闪烁以及指向误差和接收孔径失配引起的接收功率降低,使得传统的OAM解调方法的解调难度增加,OAM模式识别的准确率降低,增加了通信误码率。而伴随着机器学习技术崛起的卷积神经网络（Convolutional Neural Networks,CNN）算法,可以从深层次上挖掘对象的各项特征。对于OAM光斑图案,卷积神经网络可以根据不同OAM模式上的螺旋相位特征,正确的识别出OAM模式,这对OAM信号的解调提供了一种新的思路。本论文研究了在大气湍流、指向误差、接收孔径失配的影响下,卷积神经网络对OAM-FSO通信系统的OAM模式解调性能。主要研究工作和成果如下:1.本文从Kolmogorov理论上出发,对大气湍流做了详细的研究,使用不同的湍流模型对不同强度下的大气湍流进行量化,并且使用了功率谱反演法和泽尼克多项式法对大气湍流进行了相位屏的仿真。此外,还通过对接收光束的横截面建模来研究指向误差对接收光束的影响。2.设计并搭建了一种OAM-SK-FSO通信系统。通过空间光调制器对传播光束进行OAM-SK调制,将五种不同的OAM模式调制到传播光束上,代表五种不同的数据符号,并且在传播过程中加载模拟大气湍流的相位屏。最后在接收端,使用CCD相机采样接收,将接收到的光斑使用CNN算法进行解调。3.研究了在大气湍流、指向误差、接收孔径失配的影响下,基于卷积神经网络算法的CNN结构对OAM模式的解调精度。实验结果显示,当指向误差为零且无接收孔径失配时,在弱湍流情况下,CNN能够以100%的正确率识别OAM模式,在强湍流下,识别正确率也可以达到91.5%。当存在指向误差时,CNN依然可以在弱湍流下对OAM实现100%正确识别。当接收孔径失配时,在弱湍流下,OAM的识别准确率也能达到100%。当指向误差和接收孔径失配的情况同时出现时,CNN在弱湍流下也能以93%的正确率识别OAM模式。