相对于传统的卫星微波通信,卫星激光通信由于具有信息容量大、抗电磁干扰能力强、传输速率快、安全性高和终端体积小等优点,国内外对其进行了大量的研发。相干激光通信能充分利用光载波的带宽优势,从而实现高速卫星激光通信,是未来卫星激光通信技术发展的重点方向,目前越来越受到许多国家和地区的重视。虽然卫星激光通信的发射光束窄,安全性比传统的卫星微波通信要高,但还是有被窃听的风险。特别是在下行链路中,光束到达接收面的光斑会扩散成直径数公里大小的光斑,无人机可以飞行到光斑区域进行窃听。目前,卫星激光保密通信是基于密钥技术的,随着量子计算和密码学的发展,传统的公共密钥加密技术的安全性已面临着极大的风险。混沌具有不可预测性和对系统初值的敏感性,在保密通信领域很早就得到了研究人员的重视。激光混沌系统维度更高,安全性更高,能支持高数据率的通信。激光混沌通信作为一种硬件加密技术,能够避免软件加密算法的安全隐患,将其引入到卫星相干激光通信中,实现高速安全的卫星激光通信。本论文将基于马赫-曾德尔干涉仪的激光相位混沌产生装置引入到卫星相干激光通信当中,针对一种基于差分相移键控（DPSK）/自差探测的卫星相干激光混沌通信系统,结合实际工程中参数设计需求,主要从混沌源、混沌同步和通信、大气湍流引起的失配三个角度展开理论和仿真分析。首先针对基于马赫-曾德尔干涉仪的激光相位源,分析了系统参数对混沌产生过程的影响,对系统混沌输出的类高斯特性、自相关特性等方面进行了分析,推导出了窃听方的误码率模型,验证了其实现保密通信的可行性。进一步的,阐述了系统混沌同步和通信的原理,通过数值仿真和解析近似研究了系统不同的参数失配之后对系统同步的影响,推导出了失配噪声对系统通信性能影响的误码率模型。最后,针对大气湍流带来的光强闪烁和光束漂移,主要分析了这两种大气效应引起的混沌失配对系统通信性能的影响,推导了下行链路和上行链路的误码率模型,分析了系统主要参数对误码率的影响。本文的研究工作将为基于DPSK/自差探测的卫星相干激光混沌通信系统的参数设计提供理论和仿真指导,在降低工程实现难度和提升通信性能方面具有参考意义。