传统傅立叶变换描述了信号时域或频域的特性，而不是描述信号时频特性，于是人们提出了一系列新的时频分析理论和方法来处理非平稳信号，分数阶傅立叶变换为其中的一种。随着其离散化方法的提出，分数阶傅立叶变换逐渐应用在通信系统中。针对分数阶傅立叶变换的离散算法和其在通信系统中的应用，本文主要做了以下工作：首先，在分数阶傅立叶变换的基本原理和经典离散算法基础上，设计了一种新的离散分数阶傅立叶变换算法：从中心型离散傅立叶变换矩阵(Centered Direct FourietTransformer，CDFT)的四次幂为单位矩阵出发，构造了一个与DFT矩阵可交换的矩阵，并联合矩阵S和T得出一种新的离散分数阶傅立叶变换算法，重点仿真分析新的离散算法逼近连续分数阶傅立叶变换的效果。其次，在适当的分数阶傅立叶域上对被噪声污染的单分量chirp实现了信噪分离，对于含有多个chirp的混合信号，通过在分数阶傅立叶域上遮蔽能量强的chirp来减少对弱分量信号的影响，最终实现对弱分量信号的检测。再次，研究了基于分数阶傅立叶变换的正交频分复用(Orthogonal FrequencyDivision Multiplexing，OFDM)系统，并给出最优分数阶傅立叶变换阶次选择的算法，采用最小均方误差准则在分数阶傅立叶域上对接收信号进行均衡。重点分析了三种时变信道环境下，基于分数阶傅立叶变换的OFDM系统与传统OFDM系统的误比特率性能。最后，在基于分数阶傅立叶变换的OFDM中，引入了一种简单的时变信道估计算法：在发射端以chirp序列代替传统的PN序列为导频信号，在接收端通过谐波恢复算法获得时变信道的信息。