近年来,随着物联网、大数据云计算、虚拟现实等技术的发展,人们对于网络流量的需求越来越大,这对于相干光通信系统的传输速率和容量提出了更高的要求。为提高通信系统的容量,目前常采用星座整形逼近系统的香农极限,其中又可分为概率星座整形和几何星座整形,两者都是在发送端对信号进行预处理。由于概率星座整形只是改变了星座点的概率,星座点的位置没有发生改变,无需对系统的算法进行较大修改,且能与前向纠错码（FEC）技术结合,实现灵活的可调速率,被认为是未来超高速、大容量相干光通信系统中的关键技术之一。由于相干光通信在传输过程中受到相位噪声的影响,星座点发生了旋转,需要在接收端使用载波相位恢复算法补偿。本论文基于概率整形相关光通信系统,对于载波相位恢复算法进行了研究,通过改变星座点概率分布,获得了性能上的提升。本论文的主要研究内容及创新点如下:比较了不同载波相位恢复算法在Maxwell-Boltzmann（MB）分布下的性能。我们发现盲相位搜索（BPS）、基于主成分的相位估计（PCPE）、PCPE+BPS算法与该分布是不兼容的,特别是对于PCPE算法,当整形强度较大时,算法无法工作。基于Kullback-Leibler divergence散度的相位估计（KL）、载波相位和幅度噪声估计（CPANE）算法能在该分布下准确恢复相位,并得到比均匀分布时更高的广义互信息（GMI）。基于上述结论,我们提出使用Quasi Maxwell-Boltzmann（QMB）分布代替传统的MB分布作为概率整形相关光通信系统中星座点的概率分布,并给出对应的概率整形信号产生方案。在相同整形参数下比较了两种分布下相位恢复算法的性能。我们发现所提分布对于BPS、PCPE、PCPE+BPS算法能显著提高算法性能。对于KL、CPANE算法也能在整形参数较小时获得性能上的提升。此外还比较了在相同信息熵条件下,相位恢复算法在不同光信噪比下的性能,所提分布能在低OSNR下获得更高的性能,对于256QAM,相位恢复算法为BPS时,最大能获得接近2 bits/symbol的性能提高。因此在概率整形相干光通信系统中,QMB分布相比于传统MB分布更具有优势。