光纤通信网是信息社会的支撑基础,是国家工业化与信息化融合的重要纽带。近年来高清电视、视频点播和移动宽带业务的快速发展,对光纤通信网络的带宽和容量提出了更高更迫切的需求。随着单通道40Gb/s波分复用(WDM)光纤通信系统的商用部署和单通道100Gb/s光纤通信系统的出现,无论是传输网还是接入网,未来研究趋势都正向着单通道400Gb/s～1Tb/s甚至更高速率发展。因此,寻求新型的光信号传输理论及相关的信号处理模式已成为未来光通信领域面临的重大挑战。光纤通信系统发展到今天,有两大难题亟待解决：首先是光纤通信系统的容量极限迫近。据思科统计,到2020年,骨干网容量需求将达到200Tb/s。传统的观点认为光纤通信的频谱资源是无限的,而目前光纤通信系统的可用带宽才100nm,其中可成熟商用的带宽不过60nm。随着系统的容量需求不断增长,要求光通信系统进一步提升频谱效率,这就需要通过探索新的维度以及新型的高阶调制格式来实现。第二个难题是随着云计算等新兴业务的出现,传统的密集波分复用系统已经不适应当前网络的发展,信道资源的灵活调配以及信道速率的自动适配将是未来光网络发展的趋势。本论文的研究工作主要针对当前光通信系统中存在的两大问题展开：第一是提升系统的频谱效率以及容量极限,第二是提高信号性能与灵活度。在提升系统频谱效率与容量极限方面,主要通过多维多阶光信号传输理论以及超密集光正交波分复用理论实现；在提高信号性能与灵活度方面,主要通过光信号的数字域损伤补偿算法与变速率光信号的识别与扰动理论实现。本论文的主要创新工作如下：一、多维多阶正交光信号传输机理1)多维度信号的复用／解复用及互扰抑制传统的光纤通信系统利用的维度单一,通常只利用光的强度或者相位维度；但光场是一个矢量信号,具备相位、强度、偏振、角动量等多个维度。本文针对光通信系统频谱效率提升的问题,创新性提出了光正交频分复用系统中的矢量信息复用与控制理论,提出了基于偏振相移键控、二进制相移键控与正交频分复用信号的复合传输方案,并采取数值仿真和实验研究手段验证了所提方案的可行性。相关成果连续在光通信系统顶级期刊Optics Express上发表,形成系列论文(共三篇),其中一篇论文的单篇引用达到21次。2)基于差分幅度相位调制的高阶光信号对高阶光信号而言,需要采用较复杂的信号补偿均衡方法恢复信号性能,这通常是基于辅助序列或者导频实现。目前的数字损伤补偿算法多采用增加导频信息以及均衡阶数来提升系统性能,却忽略了算法的可实现度,包括算法的复杂度及信息的冗余度等。本文首次提出了一种基于差分幅度相位调制的高阶光信号产生方法,由于信号的差分特性,不需要在接收端进行信道均衡处理。不仅因省去冗余辅助信息提高了信号的频带利用率,而且简化了接收端计算复杂度。实验研究结果表明,不采用信道均衡的差分幅度相位调制高阶光信号具有与采用信道均衡的正交幅度调制(QAM)信号相当的误码性能和更优的抗非线性性能。该调制格式的有效信息效率也提升了11%。相关成果发表在Optics Express (OE)上,爱尔兰约克大学相关研究组认为我们提出的算法在光传输系统应用方面很有创造性(见OE,vo1.21,no.2,2013)。二、超密集正交波分复用光信号性能研究1)基于旁瓣抑制的密集光信号设计由于光纤仙农极限的存在,单载波的信息速率不可能无限度的增长,那么密集多子载波并行传输就成为了未来单通道Tbit传输系统的首选方案,此架构已被业界广泛认可。但是,密集并行光传输系统存在一个尚待解决的核心问题——子载波之间的串扰。如果能够降低载波间干扰,就能够进一步提高超密集光信号的传输性能,从而进一步提升系统的频谱效率。论文首次提出了一种基于旁瓣抑制的密集光信号设计方法,从理论和实验两方面深入研究了信号的产生机理,分析了此方法对载波间互扰的改善程度。研究结果表明,基于旁瓣抑制的密集光信号设计方法能够降低载波间互扰,提高信号的传输性能。论文首次将载波间干扰降低达11.5dB,相关成果分别发表在2011年和2012年的光通信系统顶级期刊Photonics Technology Letters (PTL)上,并在2011年的国际光通信会议(OFC)上作了报告。同时,于2012年获得国家广播电影电视总局(省部级)高新技术研究与开发奖一等奖(排名第七),此后,山西省广电网络集团同意将该技术方案列为“三网融合”改造试点工程的推广项目。2)基于超连续谱的Tbit级光信号产生方案低成本的密集子载波并行光源是实现Tbit级光传输系统的关键。论文研究了基于锁模激光器和高非线性光纤产生超连续谱密集光源的方法,并提出了基于该密集光源的Tbit级光载无线(ROF)接入和光正交频分复用接入系统新方案,实验实现了2.56Tb/s的密集光信号接入系统,获得了良好的性能。相关结果发表在2010年和2012年的Optics Express上,该成果是2012年光接入网达到的最大容量。相关成果在十一五863项目“100Gb/s光传输系统关键技术研究”结题中被认为“达到国际领先水平”,并得到科技部十二五863重大课题"Tbit光传输系统关键技术”的支持,拟基于此技术在武汉到上海之间开通Tbit示范工程,实现多路万兆以太网互通。三、基于编码调制的数字域光信号损伤补偿研究1)基于低密度奇偶校验码(LDPC)和频域滤波的预补偿方法论文提出了一种基于LDPC和频域滤波的预补偿新方案,并在实验研究中成功应用于二维四阶的光正交频分复用信号,以增加信号的非线性容限,提高信号性能。实验实现了277.6Gb/s二维四阶的光正交频分复用信号200km传输。在光信噪比大于14.7dB时,能够达到零误码性能。2)基于码分复用编码的正交频分复用信号补偿机理论文提出了基于码分复用编码的光正交频分复用信号补偿机理,它能够增大信号链路的功率预算,提高信号接收灵敏度。实验实现了基于码分复用编码的4.68Gb/s正交频分复用ROF信号的25km光纤和8m无线传输：与常规正交频分复用ROF信号相比,在同等灵敏度下突破了系统无线传统极限(延长了3m),增加了系统的功率预算。此外,上行拍频噪声是光正交频分复用接入网络的一个国际难题,该方法通过码分复用的分集增益有效解决了该问题。相关成果分别发表在两篇Optics Express上,该方法被美国NEC研究所知名学者N. Cvijetic和OSA Fellow光OFDM系统创始人AJ. Lowery教授一致认为是近年来用于光正交频分复用信号的最具特色技术之一(见JTL, vol.30, no.4,2012; OFT, vol.17, no.5,2011)。四、变速率光传输、自适应识别以及光信号的扰动研究1)变速率光信号传输方案随着数字信号处理技术在光通信系统中的广泛应用,通过物理层感知实现网络扁平化成为了新的研究热点。论文创新性提出了一种基于光正交频分复用的变速率光信号传输方案,此方案不仅能够提高光网络的容量和灵活度,而且能够在同一平台上兼容不同传输速率的信号。基于该方案,首次实现物理层自适应的光纤无线融合变速接入系统,进行了峰值速率为109.92Gb/s的传输实验,并深入研究了不同速率情况下信号的前导感知性能,实验功率代价均小于0.5dB。该系统能够容纳速率从10Gb/s至100Gb/s量级的不同速率信号。相关成果发表在Optics Express上,IEEE/OS A Fellow、荷兰埃因霍温科技大学教授A.M.J.Koonen大段评价了该成果,认为作者“首次研究了光物理层的动态带宽分配”；该成果还获得了2012年教育部优秀成果奖(自然科学类)二等奖(排名第四)。2)非线性动态扰动技术针对信号的物理层安全问题,论文在国际上首次提出了基于非线性混沌和星座非线性旋转的动态扰动/解扰方案,构建了具备多层密钥和超大密钥空间的扰动模型,并从理论和实验两方面深入分析了上述两种方案的安全性能,得到了良好的实验结果。相关成果连续发表在PTL和JLT上、Optics Express上,形成了系列论文(共6篇)。综上,本论文针对光纤通信系统中的频谱效率及系统灵活度两个问题,系统深入地研究了多维多阶正交调制光信号及其损伤补偿方法；研究了变速率光传输、白适应识别以及光信号的扰动/解扰方法,并从理论、数字仿真和实验研究三方面阐述了上述研究工作。作者在IEEE Journal of Lightwave and Technology、 Photonics Technology Letter、OSA Optics Express等光通信国际权威期刊及OFC/ECOC等国际光通信会议上发表了学术论文30余篇,其中第一作者和通讯作者在SCI二区检索论文16篇,论文总引用100余次,单篇最高引用21次。本论文的研究工作为未来灵活、大容量光传输系统的实用化提供了参考。