随着现代信息技术的发展,光纤通信技术在信息传输中发挥着越来越重要的作用。然而由于光纤Kerr非线性效应的存在,造成信号在该介质中的畸变传输,导致信道传输速率受到了极大的限制,因此人们研究出数字和光学领域的大量技术来减轻这一不利影响。近几年来,一种新的基于非线性傅里叶变换（NFT）的非线性损伤补偿方法得到了广泛关注。该方法基于光纤传输信道的非线性薛定谔方程（NLSE）模型,将色散和光纤Kerr非线性效应考虑到光通信系统的设计中去,使得这两种作用不再是对传输系统的限制,而是成为系统的组成部分,从而有效补偿其影响。本论文即围绕NFT展开工作。时域信号进行NFT可以得到非线性离散谱和/或连续谱,这种非线性频域成分基于NLSE的演变仅表现为与非线性频率和传输距离有关的相位旋转,因此在数字光纤通信系统中将有用信息加载在非线性频谱上,即可在接收端利用NFT补偿光纤色散和Kerr非线性造成的相位损伤,实现可靠通信。本文中,对非线性离散谱通信和连续谱通信系统分别进行研究,利用VPI光通信仿真软件和MALAB的联合仿真,搭建了基于NFT的相干光通信系统。由于离散谱通信系统抗干扰能力不强,传输速率受限,因此对非线性连续谱通信进行了着重研究分析。通过非线性频分复用（NFDM）、偏分复用（PDM）以及高阶调制的通信手段,结合数字后处理技术,我们仿真实现了不同的PDM-NFDM传输系统,并分析载波频偏、激光器线宽、复用通道数、子载波波特率以及光放大器噪声对通信质量的影响。根据仿真结果分析发现,增加NFDM的复用通道数可以一定程度上提高传输容量,而较低的子载波波特率对光纤链路长度有更好的容忍度。因此,通过增加非线性子载波数以及降低其波特率,最终实现了512×0.1Gbaud的PDM-NFDM系统传输速率为204.8Gbits/s的近2700km的可靠非线性连续谱通信。同时,我们尝试将NFT应用于微纳克尔光学频率梳（OFC）产生过程中的耗散孤子动力学分析。分析结果表明,一方面,我们可以根据不同时域信号进行NFT后得到的不同频谱信息区分Kerr光学频率梳演化的不同阶段,尤其是线性频谱通常容易被混淆的混沌态和多孤子态;另一方面,多孤子时域信号经NFT得到的孤立离散本征值对数与该信号包含的孤子包络数一致。因此,可以认为NFT的引入很好地对传统光频梳研究方法进行了有效补充,并促使我们利用该变换研究更丰富的超短光脉冲现象。