随着无线通信技术的高速发展,对高容量、高速率、高稳定性的无线通信需求日益增长,传统的射频（Radio Frequency,RF）通信频谱资源逐渐受限,难以满足不断增长的网络需求。因此,自由空间光（Free Space Optical,FSO）通信技术应运而生,FSO通信技术采用激光作为传输载波,以自由空间为传输介质,可实现大容量高速率的信息传输且无须频谱许可,并弥补RF通信的不足。差分相移键控（Differential Phase Shift Keying,DPSK）技术由于其可以避免相位模糊现象和其较高的接收灵敏度,是FSO中常用的调制技术。尤其高阶的DPSK调制技术具有更高的频谱效率,因此具有更高的研究价值。但是传统的高阶DPSK系统随着其调制阶数的增大,系统结构越来越复杂,特别是在系统接收端,往往需要更多的差分解调器件和更复杂的逻辑判决电路,这对系统的可行性和可靠性带来一定的问题。针对以上问题,本文研究了FSO通信中低复杂度的高阶DPSK系统结构,研究并设计了适用于FSO高阶DPSK信号的几何星座整形（Geometric Constellation Shaping,GCS）技术和概率星座整形（Probabilistic Constellation Shaping,PCS）技术。通过设计并实现的GCS方案,改变了高阶DPSK信号星座图的几何分布,从而简化了系统结构。同时,在GCS的基础上,设计并实现了PCS方案,使得简化后的高阶DPSK系统在应对不同信道条件时均获得良好的系统可靠性能。主要的研究内容如下:1.概述了FSO系统中传统的高阶DPSK传输系统的相关技术,主要包括高阶光DPSK信号的调制解调原理和大气信道特性。该部分主要包括马赫曾德尔调制器（Mach-Zehnder Modulator,MZM）的电光调制原理、大气信道特性、马赫曾德尔干涉仪（Mach-Zehnder Interferometer,MZI）的差分解调原理以及平衡探测器的原理等。2.在传统高阶光DPSK的基础上,根据其解调原理和结构,设计了一种面向FSO高阶光DPSK系统的GCS方法,并在光8DPSK和光16DPSK系统中实现。通过对传统星座图进行几何整形,使得高阶DPSK星座图上分布较复杂的比特位所在星座点进行映射重构,从而简化系统解调复杂度。同时,对于进行了映射变换的星座符号进行GCS辅助标记,并采用幅度调制传输,从而辅助剩余比特位的解调,实现系统结构的简化。3.GCS优化后的系统结构复杂度得到降低,但其激光发射功率的利用率降低,系统抗湍流性能下降。针对这些问题,在GCS优化系统的基础上,研究并设计了一种PCS方案,并在光16DPSK信号中实现。PCS方案根据高低幅值符号受大气湍流和衰减效应影响的不同,改变高低幅值星座点的分布概率以应对不同的信道条件。通过在GCS辅助标记之后加入PCS辅助位标记概率整形信息,与GCS辅助位结合成PAM3信号并进行双极性的PAM3调制,从而辅助解调,实现星座点的混合整形。PCS+GCS混合整形的系统结合了传统系统与GCS优化系统的优势,在提升激光功率利用率的同时,在不同的信道条件下均改善了系统的误比特率性能。