无线激光通信具可靠性高、容量大、保密性好等特点,在通信和军事方面具有很高的应用价值。针对现有无线光通信系统可靠性低,同时为降低大气湍流和通信终端相对运动对通信系统性能的影响,本文利用偏振调制技术改善系统的性能,提出了采用圆偏振光编码调制方式,设计了相应的激光通信系统,对偏振光在大气传输过程中的性能和激光通信系统性能进行了分析,并开展了简单验证实验,取得了一定的研究成果。主要内容具体如下：首先在偏振光学的基础上的,对偏振移位键控的编码原理进行了分析,提出采用以圆偏振态进行编码的圆偏振键控编码技术(CPolSK)。激光的圆偏振特性在大气传输过程中变化很小,且圆偏振态具有旋转对称的特性,使系统的性能不受两通信终端相对运动的影响,降低了技术的实现难度,具有很高的可靠性,特别适用于作为移动平台的通信终端。CPolSK系统是利用两个圆偏振态进行组合编码,单通道传递信息。基于圆偏振态在大气传输中的优势,同时为提高通信量,提出圆偏振复用编码原理(CPolDM),不仅可保证通信的可靠性,又成倍地提高了系统容量。同时,从原理上推导了线偏振态和圆偏振态之间的转换过程,为圆偏振调制的编码解码提供理论基础。其次,根据大气激光通信系统的要求,提出了两种圆偏振调制的具体实现方案,同时结合两种调制原理,设计了圆偏振调制激光通信的实验验证系统。根据通信系统的功能模块,分别设计了发射系统、接收系统和光学天线。其中包括激光器选取、光束准直整形系统的设计以及调制解调电路,并根据系统要求设计了发射接收光学天线等光机系统。该通信系统可验证两种圆偏振编码方式,且结构简单,实现方便,非常适用于作为星载通信终端。第三,论述了激光在传输过程中受到大气散射、折射、湍流等各种效应的影响,重点分析了大气信道对光信号的偏振度和偏振态造成的影响,推导了大气散射对偏振光的退偏效应。以部分相干电磁厄米-高斯光束为模型,推导了部分相干激光的偏振特性在大气湍流传输过程中的变化规律,并推导出了激光在传输过程中的偏振不变性,可用于圆偏振调制系统的性能优化。根据圆偏振调制的特性,通过把大气等效为一个线性延迟器,来分析测量圆偏振光在大气中总的双折射量,不仅可测定圆偏振态的改变量,还可以估算系统的功率的衰减,评判系统的功率是否满足要求。最后,为验证圆偏振编码原理,对圆偏振激光通信系统的性能进行分析。首先通过对几种调制方式的各项性能进行对比,结果表明圆偏振调制虽然平均功率高,但带宽需求小且误码率低,可通过偏振复用技术提高容量,是一种性能优良的调制方式。并通过软件模拟仿真了圆偏振调制通信系统,通过仿真结果对比,证明差分接收圆偏振调制系统具有优良的性能。其后,分析了实际的圆偏振通信系统,进行了简单的圆偏振编码通信实验,实现了数据的发送与接收,证明了圆偏振编码的可行性和通信系统设计的合理性,尤其是在湍流扰动情况下,CPolSK具有较低的误码率。为完善圆偏振通信系统系统,分析了光学元件对通信性能的影响,并提出采用相干接收技术等措施来提高系统的接收灵敏度、误码性能以及抗大气扰动的能力。