5G无线通信系统需要支撑大量场景的应用,这就需要灵活地分配可用的时频资源,因此欧洲的动态频谱接入和认知无线电物理层(PHYDYAS)研究项目组提出将滤波器组多载波(FBMC)技术作为5G关键技术的备选。近年来,FBMC技术因其高效的频谱利用率和优秀的带外特性而逐渐成为5G研究中的热点。本文主要研究滤波器组多载波/偏移正交幅度调制(FBMC/OQAM)系统,并针对本系统的信道估计方法展开相关研究,主要内容包括:首先,对导频结构展开研究,提出了一种新的导频干扰消除方法。该方法采用辅助导频法和预编码导频法联合消除导频邻域内的干扰,保证在接收端得到较为精准的导频序列。此外,针对噪声提出了一种改进算法。该算法分为两个步骤,首先采用基于快速傅里叶变换的阈值去噪算法对最小二乘算法得到的估计值进行预处理;随后利用迭代线性最小均方误差算法计算出更加精确的信道估计值。仿真结果表明系统性能得到了明显的提升。然后,为了节省导频占用的带宽和增强对信道的追踪能力,提出了一种基于粒子滤波的信道估计方法。该方法为一种半盲方法,首先通过导频获得初始粒子集,随后通过粒子滤波算法预测信道的估计值,并通过观测值修正估计结果。在后续的估计中不再需要导频信号的参与,节省了系统带宽。仿真表明,新算法对时变信道的追踪效果良好,提高了系统的性能。最后,将复值神经网络和信道估计相结合,提出一种新的估计方法,证明了神经网络在信道估计中的可行性。该方法分为两个阶段,训练阶段将系统接收端的信号同期望输出信号一同送入网络进行训练,在网络收敛时保存最优的网络参数;部署阶段将最优的网络参数固定,用当前的复值神经网络替代原来系统中的信道估计器部分。仿真结果表明,相比传统的信道估计方法,基于复值神经网络的信道估计方法具有更高的准确性。