超奈奎斯特速率（FTN）传输技术能够在不增加传输带宽的条件下,通过减小符号发送间隔的方式提升传输容量和频谱效率,近年来成为了通信领域的研究热点。FTN系统射频前端本振相位噪声（简称相噪）会恶化系统误码性能,并与FTN引入的码间干扰（ISI）耦合,使得传统针对奈奎斯特传输无ISI情况下的相噪抑制方法不再适用。因而研究FTN系统中的相位噪声抑制对FTN的应用具有重要意义。本文针对FTN系统中相噪抑制问题,开展了如下研究工作:1、针对相噪-ISI耦合干扰,研究了传统基于自适应最小均方算法的相噪-ISI联合消除算法。仿真结果显示ISI对相噪处理有较大影响,该算法仅适用于压缩比例较小（ISI不显著）的FTN系统。2、不同于联合消除,本文设计了一种相噪-ISI解耦的FTN系统:在发端采用THP预编码消除ISI,接收机观测量仅存相噪干扰。基于训练导频,研究了线性内插和维纳内插的相噪估计算法。针对THP预编码引起符号星座扩展,传统THP取模处理后导频处相噪估计误差较大的问题,提出了一种针对扩展导频的相噪估计方案。相比于传统自适应方法,基于维纳内插的解耦接收算法在ISI不显著时能获得更好性能,且适用于ISI较显著的FTN系统。成型根升余弦脉冲滚降系数为0.4时,该算法在256QAM调制,压缩因子为0.8与0.75的FTN系统中能分别获得1.3d B和3.2d B的性能提升,在64QAM调制的FTN系统中则能分别获得1.2d B和3d B的性能提升。3、最后,本文设计了一种基于最大后验概率（MAP）准则的迭代接收机,提出了基于一阶自回归过程的平稳相噪近似建模方法,建立了减复杂度FTN系统因子图模型。为了降低迭代检测的计算复杂度,根据建立的因子图模型,研究了MAP准则下基于高斯近似的迭代检测算法。相比于本文其他算法,该算法在低阶调制低编码码率的FTN系统中具有性能优势,在64QAM调制1/2码率,压缩因子为0.8与0.75的FTN系统中,该算法较基于维纳内插的解耦接收算法能分别获得1.3d B与2.6d B的性能提升。