随着移动互联网、大数据、云计算、网络游戏应用等技术的发展,人们对高数据速率以及大容量光传输系统的需求不断增加,提升频谱效率从而提高系统容量成为解决光纤通信系统频谱资源受限的可行技术之一。超奈奎斯特非正交频分复用（Faster Than Nyquist Non-Orthogonal Frequency Division Multiplexing,FTN-NOFDM）技术打破传统正交频分复用技术的正交性,通过压缩子载波间隔来压缩信号带宽,从而获得比OFDM更高的频谱效率。而偏振相干超奈奎斯特非正交频分复用系统（Polarization Multiplexing Coherent FTN-NOFDM,PM-CO-FTN-NOFDM）不仅具有多载波调制的抗色散的优势,还保持偏振分集相干接收的高频谱效率和高接收机灵敏度的优势,且通过子载波间隔压缩达到更高的频谱效率,可以满足未来大容量、高速率、高频谱效率、高接收机灵敏度的相干光通信系统要求,具有重要研究意义和应用前景。本文围绕PM-CO-FTN-NOFDM传输系统中的关键技术—数字信号处理（Digital Signal Processing,DSP）算法进行了深入研究,主要研究工作如下。1.FTN-NOFDM系统中引入严重子载波间干扰（Inter-Carrier Interference,ICI）,传统PM-CO-OFDM系统的DSP算法难以适用,需根据NOFDM系统损伤特性,对PM-CO-F TN-NOFDM系统DSP算法方案进行改进设计。本文根据FTN-NOFDM特性,在发端DSP中选择添零替代循环前缀,并相应地进行帧结构设计。在收端DSP中,针对严重内在ICI的影响对频偏估计、相偏估计、信道估计等DSP算法以及算法流程进行设计,在传输损伤补偿完之后使用信号检测算法抑制内在ICI。在单波道112Gbps PM-CO-QPSK-FTN-NOFDM传输距离300km条件下,仿真验证了所设计DSP方案的可行性,以0.4dB光信噪比代价实现了频谱利用率提升14.3%。2.针对FTN-NOFDM系统下非正交导频叠加其他子载波干扰这一问题,提出一种基于时域射频导频（Radio Frequency-Pilot,RF-Pilot）的频偏相偏联合估计算法。所设计的算法在时域加入直流,其上变频后变成RF-Pilot,利用其高功率以及无相位损伤时相位为零的特性进行频偏与相偏估计,从而有效减轻内在ICI对系统性能的影响。单波道112Gbps PM-CO-QPSK-FTN-NOFDM光传输系统仿真结果表明频谱效率提升14.3%时:频偏容忍大于2GHz,最优的导频信号功率比为-17～-13dB,保护子载波开销最大为8.9%。3.针对FTN-NOFDM系统下传统基于数据辅助的频域信道估计法性能差、而盲信道估计算法复杂度高的问题,本文根据PM-CO-FTN-NOFDM传输信道特性,提出了一种基于琼斯矩阵的无插值的频域信道估计算法,该算法不受FTN-NOFDM内在ICI影响,且复杂度较低。单波道112Gbps PM-CO-QPSK-FTN-NOFDM传输系统仿真结果表明频谱效率提升14.3%时该算法至少能自适应补偿30ps的偏振模色散,训练符号开销最大为2.9%。