相干态是通信系统中一种非常理想的信息载体,其易于制备和操纵,能够对抗损耗,可以实现信道容量的最大化。但是相干态的非正交性导致其无法被无差错的检测。就通信系统的误符号率性能而言,经典接收机(直接检测,零差检测和外差检测)的性能极限受限于散粒噪声,我们称之为标准量子极限(standard quantum limit,SQL)。而量子力学给出了通信系统最终性能极限——Helstrom极限。Helstrom极限起源于非正交态测量的不确定性原理,它远远低于标准量子极限。如何设计物理可实现的量子接收机,使其误符号率突破标准量子极限并不断逼近Helstrom极限,仍是一项重大挑战。本论文以自由空间激光通信系统为研究对象,以量子接收机的物理实现为研究内容。我们在回顾了量子接收机的发展历程及其设计理论的基础上,就量子接收机的物理实现与其验证性实验,进行了深入的研究。本文的主要工作包括:(1)正交幅度相位调制(quadrature amplitude modulation,QAM)信号集量子接收机的研究。以二元调制和多元相移键控调制方案下量子接收机现有设计方案为基础,我们系统地研究了针对QAM调制信号集的Bondurant量子接收机、分区自适应测量量子接收机和经典-量子混合接收机。首先,我们将Bondurant量子接收机推广至QAM调制信号集,给出了 QAM调制信号Bondurant量子接收机的概率模型。其次,我们详细地分析了探测器量子效率、探测器暗计数、波束分束器透过率、本振场与信号场模式失配等非理想因素以及分区数目对分区自适应测量量子接收机性能的影响;我们指出使用具有光子数分辨能力的单光子探测器(photon-number-resolving detector,PNRD)替换 ON-OFF 单光子探测器,可以抑制各器件非理想性(尤其是模式失配)对量子接收机性能的影响,并分析了 PNRD有限光子数分辨能力对量子接收机性能的影响。最后,我们设计了针对QAM调制信号的经典-量子混合接收机,并详细分析了其性能;同时发现,针对16-QAM调制信号,我们提出的零差-位移混合接收机采用较少的分区数目就能突破标准量子极限。在此基础之上,对比研究这三种量子接收机设计方案及性能,我们给出了量子接收机的设计与工程化应用的建议。(2)针对任意相干态调制信号集量子接收机的研究。我们主要研究了序贯波形归零量子接收机和基于最优控制策略的自适应反馈控制量子接收机。以序贯波形归零量子接收机为基础,我们从位移策略和归零顺序两个方面对其进行了改进,并分析了这两种改进方案对该量子接收机性能的影响。在此基础之上,我们将最优控制理论应用到针对任意相干态调制信号集的量子接收机的设计中,系统化、结构化地建立了最优控制问题中自适应反馈控制量子接收机的解析模型,以进一步降低系统的误符号率;同时为了避免反馈控制策略优化时“维灾难”的发生,我们设计了基于最大后验概率准则的次优反馈控制量子接收机,它仍然能够突破标准量子极限。(3)二元编码信号联合检测量子接收机的研究。我们首先回顾了激光通信系统中联合检测量子接收机模型,从最简单的二元编码信号入手,获得了其标准量子极限和Helstrom极限的求解方法。接着,我们将条件归零这种联合检测的思想推广至更一般的情形——二元调制的编码信号,通过动态规划算法优化条件归零控制策略,成功将该量子接收机的误码率降低至标准量子极限以下。(4)量子接收机的实验研究。我们在认真分析了已有量子接收机实验方案的基础上,设计了基于偏振干涉的量子接收机实验方案,对二元相移键控调制信号Kennedy接收机以及二元调制编码信号条件归零联合检测量子接收机进行了实验研究。实验结果表明它们可以突破实验条件下的标准量子极限。