随着第五代移动通信技术、物联网的广泛普及与发展,高速通信不断面临新的需求与挑战。无论在民用或是军事领域,对高速通信的有效性、可靠性需求日益迫切。其中,无线光通信（Optical Wireless Communication,OWC）技术,作为一种以空间中传播的光波为信息载体的通信技术,具有高速、安全、绿色、布设灵活、不受频谱限制等特点,在现代社会发展以及军事各领域中有着重要的应用前景和研究价值。然而,大气湍流效应是阻碍OWC系统广泛布设的重要因素,如何提升大气湍流下OWC系统的抗衰落性能,实现更高速可靠的通信,成为研究者面临的重要挑战。基于上述需求,本文针对大气湍流下OWC系统的抗衰落技术,从通信过程中发射端的星座设计、接收端的接收阵列与信号检测问题入手展开研究,研究内容包括多用户抗衰落星座设计、接收孔径阵列布局以及抗衰落接收方法设计三个方面,相互联系、逐步深入。论文的主要工作和创新点概括如下:第一部分:从星座设计的角度提出一种大气湍流下多用户通信系统中的抗衰落方法。针对大气湍流下多用户OWC系统,提出了一种强度调制的乘性唯一可分解抗衰落星座设计。该星座基于空间相关大气湍流下衰落信道统计模型特性设计,能够有效应对信号衰落造成的性能损失。所设计星座将多个用户的信息组合发送并在各个用户接收端唯一分解,满足多用户通信需求;同时实现了对接收到的含噪信号的快速解调以及快速解码,以降低检测复杂度。所设计抗衰落星座可以灵活分配不同的子星座,适应不同用户对于优先级以及传输速率的需求。仿真结果表明,在相同的传输速率下,所提出的设计相比于时分多址方案,具有显著的性能改善。第二部分:从接收端孔径阵列布局设计的角度应对空间相关衰落信道的性能损失。针对大气湍流下空间相关衰落信道造成的性能损失,提出了一种基于六角晶格分布的接收端孔径阵列布局优化设计。通过分析大气湍流下多孔径接收端的衰落统计模型,根据该模型下系统的理论误码率,提出孔径阵列布局品质因数的度量方式,设计接收孔径阵列布局。在此基础上对设计阵列的性能增益进行分析,得到了接收孔径数量取值的较优范围。仿真结果表明,所提出度量方式的评估结果与实验结果一致,设计的布局形式能够应对所考虑的空间相关的衰落信道下的信号衰落问题。与传统的方阵布局相比,在有限面积内,所设计的接收阵列布局方式能够有效降低误码率,获得较大的性能增益。第三部分:从接收方法设计的角度提出一种大气湍流下抗衰落方法。针对大气湍流下空间相关衰落信道以及背景噪声造成的性能损失,提出了一种基于神经网络的抗衰落接收方法设计。为在空间相关大气湍流效应,强背景噪声共同影响的衰落信道下,有效改善系统误码特性,本文应用卷积神经网络优化接收方法抗衰落性能,通过设置合适的训练集,利用神经网络深入挖掘信号的衰落特征。仿真结果表明,提出的抗衰落接收方法设计方案能够有效应对信号衰落,在强背景噪声下具有显著性能提升,在高信噪比下接近系统理论误码率。同时对卷积神经网络边缘信息丢失问题进行实验分析,并根据结果对输入层进行优化。