自由空间光通信是一种以光载波为载体,以大气为传输信道的通信方式,具有高速、频谱资源丰富、通信设备便于小型化等优点。在自由空间光通信中,平衡探测是一种新颖且重要的探测方式,灵敏度好且噪声小。为进一步研究自由空间光通信中提高平衡探测器灵敏度的方法,本文从大气信道的特点、不同调制方式的区别以及平衡探测器本身等多个角度入手,研究了平衡探测器灵敏度的特性。首先,针对大气信道下低误码率的调制方式,本文根据大气理论和折射率起伏模型,推导出大气信道联合模型。通过该模型计算了OOK（On-Off Keying）、QPSK（Quadrature Phase Shift Keying）、Pol SK（Polarization Shift Keying）三种调制方式的平均误码率,并进行了数值仿真对比。结果显示,在大气信道中,Pol SK的平均误码率最低,原因是大气信道对偏振态的影响低于其对相位和强度的影响。QPSK的误码率高于Pol SK、低于OOK。考虑到容量、成本等多个因素,本文选择了偏振复用QPSK作为通信系统的调制方式进行后续研究。其次,针对平衡探测器本身结构对灵敏度的影响,本文推导了平衡探测器信噪比和灵敏度的表达公式,并进行了进一步的数值仿真。结果表明,一致性参数为0时,灵敏度在分束比为0.5时达到极值点,当一致性参数大于0或小于0时,灵敏度极小值增大,极值点右移或左移。这说明在二极管不平衡的情况下能够得到极值点,但是探测器性能仍会劣化。另一方面,针对平衡性,量子效率平均值和量子效率最值三者的取舍问题,数值仿真发现,如果量子效率平均值差别不大,在分束比补偿区间前,平衡性更重要;在分束比补偿区间后,量子效率最值更重要。如果量子效率平均值差别较大,在大多数区间内,都是量子效率平均值起作用。最后,在灵敏度和本振光功率的关系上,数值仿真发现,当分束比为0.5时,本振光功率越大,灵敏度值越低,信噪比越高;分束比不为0.5时,存在可容忍的最大本振光功率,且分束比越接近0.5,可容忍的最大本振光功率越大。最后,针对实际通信系统中平衡探测灵敏度特性,本文设计了偏振复用QPSK-平衡探测通信系统,并在理论上证明了其能够实现预设功能。使用仿真软件搭建通信系统,并进行了多组仿真,通过拟合曲线分析了灵敏度和分束比、一致性参数、本振光功率的关系,并与前述理论结果进行了对比。结果表明,该系统能够达到高灵敏度的要求,仿真实验结果和理论分析结果非常吻合。