截至2020年,光纤接入系统在全国的部署已经覆盖超过4亿个用户。随着网络业务的爆炸式发展,对接入网容量需求的不断提高。未来的无源光网络（Passive Optical Network,PON）系统将需要满足更高速率、更长传输距离、更多用户以及不同的场景需求。相干检测、偏振复用和数字信号处理技术使得相干PON成为满足未来光接入系统升级扩容的关键技术方案。本论文主要对面向未来的相干PON技术展开研究,探索超大容量PON系统的构架方案,并围绕相干数字信号处理（Digital Signal Processing,DSP）中的一些关键算法进行研究,主要创新点和技术贡献如下:1)针对未来PON系统大容量多用户的需求,提出了一种相干超密集波分复用无源光网络（Ultra Dense Wavelength Division Multiplexing-Passive Optical Network,UDWDM-PON）系统构架的实现方法,并在此基础上实现了一个总容量10 Tb/s的实时相干UDWDM-PON系统实验,该系统下行以5 GHz信道间隔在标准单模光纤（Standard Single Mode Fiber,SSMF）中传输1000×10 Gb/s的偏振复用正交相移键控（Polarization Division Multiplexing-Quadrature Phase Shift Keying,PDM-QPSK）格式的信号,上行以12.5 GHz间隔传输200×10 Gb/s的信号。传输距离为40 km。为了进一步提高接收机灵敏度,下行还另外实现了一种偏振开关正交相移键控（Polarization Switch-Quadrature Phase Shift Keying,PS-QPSK）调制格式,为每个终端用户提供7.5 Gb/s的数据速率。采用对PS-QPSK旋转扰动的方法在现场可编程门阵列（Field Programmable Gate Array,FPGA）中同时实现了PDM-QPSK和PS-QPSK两种格式的实时数字信号接收处理。且所实现的PDM-QPSK和PS-QPSK格式的相干UDWDM-PON分别能达到28 d B和30 d B的系统功率预算。所提出的构架和测试结果可为未来超多用户超大容量光接入网系统的实现提供参考方案。2)针对时分复用无源光网络（Time Division Multiplex-Passive Optical Network,TDM-PON）系统上行传输突发模式的特点,提出了一种新型的前导码设计方案及相应的数字信号处理算法,通过多个算法模块共享前导码以及均衡系数预存储的方法,达到缩短前导码长度,减少信号恢复时间,提高传输效率的目的。并且在112 Gb/s的相干系统实验中对所设计的前导码和算法进行了验证。实验证明,在保证传输性能的前提下,前导码的时间长度缩短了近26%。3)针对相干PON系统应用中可能出现的一些问题和情况,对相干接收端数字信号处理中的关键算法进行研究优化。首先针对用架空光缆部署的PON系统传输中容易出现偏振快速旋转的情况,提出一种改进的新型最小均方（Least Mean Square,LMS）均衡算法,该算法利用两个偏振之间的关系来计算误差,消除了计算过程中频偏和相偏的影响。此新型LMS算法在100 Gb/s PDM-QPSK和400 Gb/s偏振复用16阶正交幅度调制（Polarization Division Multiplexing-16 Quadrature Amplitude Modulation,PDM-16QAM）的仿真系统中分别可达到12 Mrad/s和3.3 Mrad/s的偏振旋转跟踪速度,在10 Gb/s PDM-QPSK的实时传输实验中可实现2.5 Mrad/s的偏振旋转跟踪速度。较普通算法能达到的几百krad/s的跟踪速度,大大提高了系统对偏振状态的跟踪能力。其次针对PON系统中易出现的相干接收端同向和正交（In-phase and Quadrature,IQ）两路振幅和相位不平衡的问题,实现了一种可以改进该问题的实数结构均衡器,并分析了其实现复杂度和硬件资源消耗代价,在10 Gb/s PDM-QPSK的实时实验中可以实现2.5 d B的性能改善,证明了以较少的资源代价极大地改善了接收灵敏度下降的问题。最后,针对PON系统低功耗低时延的需求,对光网络单元（Optical Network Unit,ONU）端的DSP算法进行了改进,通过对多个模块进行分级并且自适应调整分级模块使能的方法,使得ONU端的功耗得以降低,有效节省整个PON系统的功耗,并降低了系统延时。