近年来,随着5G移动通信、物联网、云计算、人工智能等新兴业务的不断发展,人们对互联网流量的需求呈指数型增长,这对光纤通信系统提出了更高要求。为了追求更高的传输速率,QPSK、16-QAM、64-QAM甚至更高阶的调制格式被广泛应用以提高频谱效率(Spectral Efficiency,SE)。概率整形技术(Probabilistic Shaping,PS)通过调整星座概率分布获取成形增益,可在有效提升光纤通信系统的频谱效率(SE)的同时,使信道容量逼近香农极限。因其灵活高效、易于同其他技术结合的特点,概率整形技术被认为是未来超高速、超大容量、超低时延的高速光纤通信系统的关键技术之一。本论文在研究高速光纤通信系统中概率整形关键技术理论的基础上,重点研究了概率整形QAM调制方案、概率整形与新型纠错编码联合调制方案、概率整形光纤通信系统数字反向传播(Digital Back Propagation,DBP)算法。主要研究工作及创新点如下:(1)研究概率整形QAM调制方案,提出了一种集分区双偏振态概率整形12QAM(PS-SP-TP-12QAM)光信号产生方案,该方案将PS-12QAM星座点映射到两个集分区中,并对分别对集分区添加彼此正交的偏振态,从而增加了 PS-12QAM的维度。理论分析表明,PS-SP-TP-12QAM显著优化了 PS-12QAM星座的平均欧式距离,且不需要增加概率分布的复杂度。仿真结果表明,PS-SP-TP-12QAM误码性能与广义互信息(Generalized Mutual Information,GMI)均优于 PS-12QAM,误码性能提升约为0.5dB;同时该方案的误码性能与广义互信息(GMI)介于PS-8QAM与PS-16QAM之间,因其独特的频谱效率,是对这两种调制方案的一种重要补充。(2)研究了基于二进制LDPC(B-LDPC)码与非二进制LDPC(NB-LDPC)码的概率幅度整形(PAS)联合调制系统,提出了一种采用比特度量译码器(BMD)的NB-LDPC码与PAS联合调制方案,该方案采用的BMD不需要将非二进制码的字段顺序与星座大小进行匹配,对于QAM星座大小及有限域没有限制,提升了联合调制方案的灵活性。理论分析表明,BMD可以适用于PS-32QAM,而SMD则不能实现奇数阶数的QAM调制。仿真结果表明,当方案中NB-LDPC编码效率较高时,BMD与SMD的误帧性能差距基本消失,此时BMD的灵活性不会带来性能损失;当方案的整体传输码率提升时,BMD的误帧性能衰减幅度小于SMD,这表明BMD译码的有效性更高,更适合频谱效率更高的NB-LDPC码与PAS联合调制方案。(3)研究了高速光纤通信系统的非线性损伤及补偿方法,提出了一种基于分步傅里叶变换的时域加权自适应变步长DBP(TWA-SSFM-DBP)算法,该算法将线性补偿置于时域内并与非线性补偿直接级联,降低了 SSFM-DBP算法复杂度和累计误差量化,同时通过自适应变步长增加了算法的灵活性,有助于实现算法最优性能。仿真结果表明,TWA-SSFM-DBP相比CDE有1dBm入射功率与0.5dB的SNR增益;随机时间间隔百分比R≈10%时基于该仿真方案的TWA-SSFM-DBP达到最优性能;相同入射功率情况下,TWA-SSFM-DBP的传输距离最远,约高出CDE方案700km。