随着5G、大数据、物联网以及虚拟现实等新型技术和应用发展,光通信系统容量和动态业务带宽有了更高的要求。上世纪香农提出连续的高斯分布信源可以实现加性高斯白噪声信道的最大通信容量,概率整形技术由此孕育而生。尽管目前概率整形编码方案已经日渐成熟,但是围绕概率整形光系统的信号处理研究依然处于起步阶段,现有围绕标准正交幅度调制的信号处理方案,在概率整形系统下存在性能恶化与失效问题。为此,本论文围绕概率整形光信号的参数估计、载波恢复以及偏振解复用三个方向开展信号处理技术的研究工作。围绕概率整形光信号参数估计问题,提出基于核密度估计的参数估计方案,实现了包括信号调制格式识别、整形参数和信噪比估计三种概率整形光系统的信号参数估计,其中概率整形参数估计将用于改进后续的载波恢复算法。数值仿真表明,所提出的方案能在较宽的信噪比及概率整形参数范围内能够实现参数估计,三种调制格式的估计结果中调制格式的识别精度能够达到90%以上,SNR估计误差小于2dB,信息熵的估计误差小于0.2 bits/symbol。围绕概率整形光通信系统的载波恢复问题,分别研究了频偏估计及载波相位噪声恢复。通过改进现有的基于半径定向的四次方快速傅里叶频偏估计算法,从而实现了整形参数无关的频偏估计,数值仿真表明改进的频偏估计算法能够在较宽的信噪比范围内,能够达到兆赫兹量级的频偏估计误差。同时,还提出改进归一化的盲相位搜索算法,相比于用于标准信号的盲相位搜索算法,所提出的算法中滑动窗口长度需求降低了约25%,在激光线宽为500kHz的条件下,互信息也有至少0.2 bits/symbol的提升。围绕概率整形光通信系统的偏振解复用,提出基于最大似然估计的独立成分分析算法。数值仿真表明,所提出的偏振解复用算法不会受到概率整形参数的影响。对比传统的恒模算法及半径判决均衡器,其概率整形信号的预解码误码率降低了至少两个数量级,而且不会因为整形参数的改变而发生性能劣化或是失效。本文围绕概率整形光通信系统接收机信号处理技术,开展了信号参数估计、载波恢复以及偏振解复用三个方向的研究,分别提出基于核密度估计的参数估计、整形参数无关载波恢复算法以及基于独立成分分析的偏振解复用算法。相比于现有方案,本文所提出的方案不仅可以适用于概率整形信号,还无需预知信号的参数信息,适用于不同的概率整形光通信系统。