随着云计算、物联网、移动互联网、FTTx等高速宽带网络及业务的迅速发展,人们对带宽资源的需求日益增长,尤其伴随着3G业务的全面普及和新兴4G业务的逐步推广,传送网的带宽压力越来越大,带宽资源紧缺已经成为限制网络发展的关键瓶颈。随着技术的发展,100Gbps骨干网已经开始部署,但仅能满足未来五年内的带宽需求。因此,超100Gbps高速传输技术成为未来大容量传输的研究热点。本文在480Gbps PM-CO-OFDM系统方案下进行了高PAPR问题的分析及解决,在1.2Tbps Nyquist WDM系统方案下进行了Nyquist整形滤波和去滤波、光纤非线性损伤算法的研究。本文所开展的主要研究工作如下：1.详细分析了CO-OFDM系统中,PAPR的产生原因及其对480Gbps PM-16QAM-CO-OFDM系统非线性容忍度性能的限制问题,并且在充分对比各种降PAPR方法原理及优缺点的基础上,提出了种基于正交分组-相位旋转的低复杂度降PAPR算法,并在480Gbps PM-16APSK-OFDM相干光传输系统下进行了仿真验证。仿真结果表明,正交分组-相位旋转法与同分组条件下的SLM算法都能使系统最优入纤光功率改进1dB,但是复杂度仅为SLM算法的1/8。2.研究了1.2Tbps PM-DQPSK Nyquist WDM系统方案,针对该系统涉及的Nyquist滤波整形及强滤波和光纤非线性补偿两类关键技术,详细分析了各种实现方案的优缺点和适用场景。针对光域X型抗混叠滤波器必须通过第三个MZI进行交叉复用的问题进行了改进,设计了双MZI级联完成奇偶子载波交叉复用的光滤波器并予以仿真验证。仿真结果表明,双MZI级联光滤波器在与强滤波损伤补偿算法配合的下,能够有效实现Nyquist滤波整形。3.仿真和实验研究了1.2Tbps PM-DQPSK N-WDM系统方案可行性。重点对比分析了不同强滤波和光纤非线性损伤补偿算法下系统性能。同时,针对长距离传输情况下,光纤损耗与光纤非线性效应之间相互影响的问题,进行了详细分析和实验验证。