近年来,随着信息业务量的持续高速增长,系统的通信容量和通信速率需求不断提高。目前,100G大规模商用的进程已经开始,超100G的技术也在迫切的研发当中。随着光器件制作工艺的进步,数据采集与数据处理等芯片制作技术的发展,相干光通信重新成为研究热点。其中,数字相干光通信是传送网中100G、超100G等高速光通信技术的重要支撑。其特点是通过相干接收和数字信号处理技术,在电域中完成载波相位恢复、传输损伤补偿及信号的解调等工作。另外,在无法使用中继的星空间光通信领域,由于受到系统灵敏度、体积、功耗等因素的严格限制,基于光锁相环技术的模拟相干光通信成为一种有效的解决方案,通过光锁相环技术完成信号的零差相干检测,具有较高的系统灵敏度,同时可有效减小系统的功耗和体积。在相干光通信系统中,发送端与接收端是两个重要的组成部分。在发送端,通常应用马赫-曾德尔调制器(MZM)及基于MZM结构的IQ调制器来实现各种高阶码型调制方案,MZM需要偏置点的稳定来保持良好的调制效果,高阶码型调制技术是提高系统传输容量的重要手段,信号发射系统的简单化与集成化是走向商用的重要前提。在接收端,通过基于DSP技术的数字相干接收机或基于光锁相环技术的模拟相干接收机完成信号的接收及解调工作。这几项作为相干光通信中的关键技术,具有重要的研究意义。本论文围绕相干光通信系统中的MZM偏置点稳定控制、高阶码型调制、集成化发射机研制、光锁相环等几项关键技术进行了深入系统的理论和实验研究,主要创新点和研究成果包括：1.提出了两种新型的铌酸锂(LiNbO3) MZM偏置点稳定控制技术,分别适用于固定点稳定控制和任意点稳定控制。在固定点稳定控制技术中,监测MZM输出光信号的平均光功率斜率值,可以将MZM稳定在传输特性曲线上四个固定的工作点位置。在任意点稳定控制技术中,监测抖动信号谐波分量及平均光功率,可以将MZM稳定在传输特性曲线上的任意工作点位置。两种方案均适用于多种调制格式,同时与输入光功率波动及信号调制速率无关。基于提出的MZM偏置点稳定控制技术,设计实现了控制算法及反馈控制系统。实验中测试了用于反馈控制的关键参量,验证了反馈控制系统的有效性,分别实现了MZM固定偏置点和任意偏置点的稳定控制。在10Gb/sNRZ-OOK背靠背系统测试中,不进行偏置点稳定控制,误码率会逐渐恶化,而加入偏置点稳定反馈控制,可以使系统误码率保持在10-9级别(测试时间10小时),系统性能稳定。2.研究了基于双驱动MZM (DD-MZM)的高阶码型调制技术。从DD-MZM的结构及信号星座图特点出发,解析了利用DD-MZM进行任意高阶信号调制的方法。根据QPSK和16QAM的星座图结构特点,设计了基于DD-MZM的调制方案,通过仿真实现了的3种QPSK调制方案,以及方形和星形两种16QAM调制方案,分别得到了调制信号的波形、眼图、光谱图、星座图,具有良好的调制性能。该研究有助于扩展DD-MZM的应用范围,简化发射机结构。3.对64QAM信号产生方案进行了系统研究。从64QAM信号星座图角度出发,提出了三种星座图进化路线,并给出了相应的六种实现方案。通过仿真分别实现了64QAM信号调制,根据调制信号的眼图和星座图分析了不同实现方案的光信号特性。最后对比分析了不同方案的发射机复杂度及优缺点。该研究对于64QAM信号调制及发射机实现具有较强的应用价值。4.提出了一种新型的调制器结构,定义为三驱动iQ调制器。利用该调制器仅需二电平驱动信号即可产生64QAM信号,对电驱动信号的要求低。从电驱动信号、眼图和星座图等角度与传统调制方案进行了对比,测试了调制信号的EVM性能及调制器的分光比和耦合比对调制性能的影响。当OSNR大于23dB时,可以将64QAM调制信号EVM控制在10%以下,调制性能良好,通过合理选择调制光路,可以产生16QAM, QPSK等调制信号,具有较高的灵活性。5.完成了三款不同类型的集成化光发射机的研制工作,包括集成化强度调制光发射机、集成化DPSK光发射机、集成化IQ光发射机,分别适用于传输速率不同的线路。采用一体化解决方案完成了发射机总体设计和样机实现,研发了发射机配套的上层控制软件,可完成发射机的控制参量设置及工作状态监测。对强度调制发射机和DPSK发射机进行了速率为10Gbaud的调制测试,测试码型为OOK、BPSK、DPSK等,完成了信号的眼图、光谱图、星座图、误码率等性能测试。对IQ发射机进行了速率为10Gbaud和22.5Gbaud的QPSK调制测试,调制信号眼图睁开良好,星座图清晰,测试无误码,测得EVM分别为9%和11%。三款发射样机结构合理,操作便捷,测试中很好地完成了信号调制且表现出良好的性能。6.系统研究了相干光通信系统中的光锁相环技术。提出了一种改进的副载波锁相环结构,该方案以副载波锁相环为基础,在锁相环带宽外加入频差捕获电路,扩大锁相环的频差捕获范围,通过对电压控振荡器的调节实现本振光与信号光的快速频差捕获和锁定。根据改进的副载波锁相环结构,完成了系统中关键模块的选型及电路设计工作,包括激光器、压控振荡器、分频器、数据处理模块、平衡接收机等。搭建实验系统进行了零差相干光拍频实验,实现了自动控制条件下信号光与本振光的快速频差捕获,捕获时间小于1s,捕获范围为7GHz,捕获完成后可将信号光与本振光频差稳定控制在3MHz以内,系统在捕获时间、捕获范围和稳定性等方面均表现出良好的性能。