随着无线移动通信应用范围的不断扩展以及传输的数据量飞速增加,带宽的局限性显得尤其突出。为在有限的频谱资源的前提下实现更有效更高速率的数据传输,从而提出了超奈奎斯特(FTN)传输技术。相比于奈奎斯特系统,FTN可以提升系统的频谱效率、系统容量,达到更高的吞吐量。但是,这种非正交传输系统使得符号间有部分甚至全部重叠,将不可避免的引入符号间干扰(ISI)。本文针对FTN在频率选择性衰落信道传输过程中同时存在由FTN和频率选择性衰落信道共同引入的复合ISI问题,提出了三种传输发射接收技术用于保证FTN系统的可靠传输。本文首先提出基于级联频域均衡的接收机结构。该方法根据FTN引入的ISI不需要估计的特点,提出在接收端信号经过快速傅里叶变换(FFT)模块后可应用第一个频域均衡器直接均衡FTN引入的ISI;均衡后的信号经过逆快速傅里叶变换模块后再返回FFT模块,利用信道估计信息通过第二个频域均衡器对抗由信道引入的ISI。通过仿真实验证明,本文提出的基于级联频域均衡FTN传输系统相比于传统单一频域均衡方案可以改善系统误码性能。随后,本文提出基于注水预编码的FTN传输系统。注水预编码器根据接收信号的最大化判决干扰加噪声比设计。当信号通过预编码器时,预编码器根据系统引入的ISI重构发射信号的功率谱密度,使信号产生一定的抗干扰性。然后,在接收端应用频域均衡器对抗这种由FTN和ISI信道引入的复合ISI。此外,本系统还引入基于低密度奇偶校验(LDPC)的信道编码技术来控制系统误码性能。仿真结果显示,相比于传统的FTN系统,本文提出的基于注水预编码FTN传输技术可以明显改善系统误码率、系统吞吐量等性能。最后,本文提出基于Tomlision-Harashima(TH)预编码的FTN传输系统。提出利用TH均衡器在发送端对FTN与信道引入的ISI进行均衡。仿真实验显示,本文所提出的FTN均衡结构可以在低复杂度下保证系统可靠传输,并证明了相比于奈奎斯特传输系统,基于TH预编码的FTN技术可以显著提高系统频谱利用效率。