近年来,各种新型的互联网数据业务正在快速普及和应用,传统光网络采用光纤作为物理信道虽然支持高速大带宽全双工信号传输过程,但移动性能差和施工成本较高在特殊地形地貌条件下面向终端用户的灵活接入有时难以实现,并且光缆敷设存在一定的地域局限性已经无法满足实际应用需求。自由空间光通信（Free Space Optical Communication,FSO）作为一种在光线路终端（Optical Line Terminal,OLT）和光网络单元（Optical Network Unit,ONU）间支持高速光信号收发、传输及接入的无线通信系统,具备传输速率高、收发容量大、抗干扰性强、保密性较好、建设周期短、无需市政许可牌照、易于安装和升级等,并适应不易敷设光缆且需要高速接入多类信息的地域应用优势已经受到业界高度重视。然而,由于FSO系统中的传输信道为自由空间中的大气信道,而大气中存在的各类分子及固态和液态气溶胶粒子会导致散射、吸收和涡流等现象的出现,尤其是大气湍流效应的负面影响将降低信号的有效接收质量。因此,本文通过优化多维多阶调制码型格式和光电器件参数配置以更好适应大气信道工作窗口来实现信号的收发、传输及接入,形成适应各类天气条件且不受特殊地形地貌限制的全双工FSO通信系统具有重要的研究意义和实际价值。本文分析了FSO通信系统的原理和结构,阐述了相移键控调制技术、正交幅度调制技术、脉冲幅度调制技术、正交频分复用调制技术的调制与解调的基本工作原理。在上述研究工作的基础上,对自由空间全双工信道模型进行了建模分析与仿真实验验证其可行性,着重研究了上下行双向传输过程,并对若干种调制信号的收发和接入特性进行了研究。主要研究过程及结果如下所述:设计了一种10Gbit/s下行采用4进制脉冲幅度调制（4-order Pulse Amplitude Modulation,PAM4）信号和上行采用非归零码（Non Return to Zero,NRZ）信号;设计了一种1.5Gbit/s下行采用67%RZ-PAM4信号和上行采用交替反转（Alternate Mark Inversion,AMI）相位调制信号;设计了一种100Gbit/s下行采用混合型16进制相移键控/256进制正交幅度调制-正交频分复用（Phase Shift Keying/Quadrature Amplitude Modulation-Orthogonal Frequency Division Multiplexing,16PSK/256QAM-OFDM）信号和上行采用双二进制（Duobinary,DB）信号;设计了一种120Gbit/s下行采用双偏振64进制正交幅度调制（Duobinary Polarization,DP-64QAM）信号和上行采用差分四相相移键控（Differential Quadrature Phase Shift Keying,DQPSK）信号;设计了一种10Gbit/s下行采用曼彻斯特强度调制信号和上行采用DB信号的全双工FSO通信系统。并研究了的上下行信号在不同天气条件下通过100m、300m、500m和1km自由空间信道进行双向收发和传输特性,同时研究了融合概率振幅整形（Probabilistic Amplitude Shaping,PAS）技术时在自由空间信道无误码率（Bit Error Rate,BER）传输125Gbit/s DP-64QAM信号的星座图。研究结果表明:本文设计的系统能显著提升频谱利用率,上下行信号均具有较强的大气湍流抵抗效应,且均实现了低于硬件判决前向纠错（Hardware Decision Forward Error Correction,HD-FEC）阈值的BER性能。