科技的进步与社会的发展给人们的生活带来了巨大的改变,先进的通讯给大家带来便利的同时也对通信带宽和传输速率的需求也随之上升,对光通信领域的科研者们提出了严峻的挑战。相干光通信技术因为其大带宽、高频谱效率、更高的接收灵敏度等优点以及商业化可能性的上升再度进入科研者们的视线,受到了国内外学者的广泛关注。而卡尔曼滤波器(KF)因为其优越的滤波性能被应用到相干光通信系统中,KF有着快速的收敛速度、估计精度高、应用范围广、计算复杂度低等优点。将KF和相干光通信技术结合起来是光通信领域一个重要的研究方向,是提升相干光接收机的DSP算法的性能一个重要手段。基于相干光通信和KF,在相干传输系统的模型基础上分析了KF的基本原理,并将KF应用到传输信道中的部分损伤效应的补偿算法中。针对OFDM仿真系统,采用扩展的卡尔曼滤波器(EKF)对系统的光纤色散进行监测从而进行补偿,探究了过程噪声协方差Q和测量噪声协方差R对KF估计性能的影响。在QPSK和16QAM仿真系统中验证三种基于KF的载波相位估计(CPE)方法的基础上,作出改进得到自适应级联噪声协方差(ACCM)的算法ACCM-CPE,极大地提升了算法对Q和R的容忍性,并在10GS/s QPSK实验系统中得到验证。最后针对10GS/s QPSK实验系统分析验证了相位和幅度噪声联合估计算法CPANE和改进的ACCM-CPANE算法,ACCM-CPANE算法在极大地提升对Q和R的容忍性的同时还提升了估计性能。针对偏振复用PDM-QPSK和PDM-16QAM仿真系统,研究了基于传统KF的偏振解复用算法CKF的改进的偏振解复用算法MKF,在单载波仿真系统和OFDM实验中分析验证了MKF的可行性,拥有比CKF更快的收敛速度以及对Q和R更好的容忍性。其次针对联合相位噪声估计和偏振解复用算法ECKF,在MKF和ECKF的基础上进一步改进,得到三种改进的联合相位噪声估计和偏振解复用算法EMKF、LCKF和LMKF。并从理论上和在PDM-16QAM仿真系统分析验证了LMKF、LCKF和EMKF的可行性和具有比ECKF更快的偏振态旋转(RSOP)可跟踪速率和更好的偏振恢复性能。