现代光通信系统根据信道的不同主要分为光纤通信和大气光通信。在光纤通信中,随着相干技术和偏分复用技术的发展,系统的传输速率、容量和传输距离逐渐增大,色散、偏振模色散和非线性效应等对系统的影响也随之突显。研究新型信号调制格式有助于抵抗高速光通信系统中的各类损伤,提供更好的传输性能。大气光通信作为一种新兴的接入方式在近几年受到了广泛关注。大气光通信系统有着易部署、低造价、高带宽等优点,但极易受到大气信道随机变化的影响。研究大气信道的特点和大气信道对传输信号的影响对于实际系统的搭建有重要的指导意义。本文主要针对大气信道对光传输系统性能的影响以及新型信号调制格式在光传输系统中的应用展开研究,并通过仿真实验对研究内容进行分析验证。本文主要内容及创新点如下：1)研究了大气信道的衰减效应。大气衰减主要包括大气分子吸收和散射,气溶胶粒子吸收和散射。本文基于不同的散射定律分析了大气衰减的机理。2)研究了大气湍流效应对传输信号的影响。利用Kolmogorov理论对大气湍流进行分析,研究表明大气湍流会导致传输光信号的光强起伏、到达角起伏、光束展宽、光束漂移等现象,从而对系统传输性能产生影响。3)研究了高速相干光通信系统的原理以及相干接收机的实现方案。对马赫-曾德尔调制器的调制原理进行了分析,并研究了常见的OOK、DPSK、DQPSK信号调制格式和RZ码型切割的实现机制。4)分析了以DP-QPSK和PS-QPSK调制格式为代表的四维信号的产生原理及实现方案。针对PS-RZ-QPSK信号提出一种新型调制方案,该方案在保持信号优势的同时减少了发射机中调制器的数量,以此降低发射机成本。