近些年来,人类的社会信息化程度不断加深,互联网、云计算等网络技术的兴起,各类移动通信业务的快速发展,无线个人终端大规模的普及,世界网络流量和移动数据、带宽、云服务呈现出爆炸式的指数型增长趋势,人类需要的通信系统容量也飞速增长。为此,人们在光通信领域深度探索了各种复用调制技术,以应对当前的容量危机。一种基本的也是最为直接的方法是可以利用光束的不同自由度或者维度。随着人们深入研究,大多数复用技术已经接近了利用的局限。空分复用是光通信发展进程中的一个新的里程碑,它将成为人们应对容量危机的有效手段。光子轨道角动量(OAM)光波模分复用是空分复用的一种,近些年来受到了广泛关注,成为当前的研究热点。OAM模式可形成一个无穷维度的Hilbert空间,因此能够显著提升通信系统的信息容量。然而,自由空间中存在大气湍流,会引起光束的波前畸变,从而影响了系统的通信性能。本文围绕自由空间光通信中轨道角动量光波模分复用这一主题,对携带轨道角动量的多种涡旋光束、各种大气湍流模型以及基于OAM复用的系统性能展开分析和研究,主要研究工作如下:(1)搭建基于光子轨道角动量复用的自由空间通信系统,探讨了携带轨道角动量的涡旋光束产生及探测方法,并对涡旋光束的产生方案的优缺点进行分析和比较;(2)研究了大气湍流强度、传输距离等因素对基于轨道角动量的自由空间光通信系统性能的影响,并对比了携带轨道角动量的不同涡旋光束在自由空间中的传输性能,为轨道角动量光波模分复用技术广泛应用于自由空间光通信提供一定的理论基础;(3)针对大气湍流对轨道角动量光波模分复用系统的影响,采用了两种方案提升系统的性能:1.采用发射不连续的OAM模式方案。我们首先提出一个新的定义信号串扰比,即发射OAM模式能量与其他模式转移过来的能量比。相对连续的OAM模式,仿真结果展示了发射不连续OAM模式可以有效提高信号串扰比,这种方案能够增加基于OAM的自由空间光通信的有效传输距离。这种方式简单高效,而且成本相对较低。2.采用自适应光学补偿方案。我们通过zernike多项式模拟自适应光学补偿技术,对大气湍流引起的OAM光束波前相位畸变进行实时矫正,并用Monte-Carlo法得到湍流相位屏。模拟结果展示了大气湍流引起的波前畸变得到明显的改善,相位变化的幅度和标准差都大幅降低,系统容量也得到了有效的提升。