与传统正交频分复用（Orthogonal Frequency Division Multiplexing，OFDM）系统相比，基于交错正交幅度调制的滤波器组多载波（Offset Quadrature Amplitude Modulation based Filter Bank Multi-Carrier，OQAM/FBMC）系统具有频谱带外泄漏低、支持异步传输和无需添加循环前缀等优势，适用于第五代（The Fifth Generation， 5G）及未来移动通信应用场景，因而受到学术界的广泛关注。作为OQAM/FBMC系统的核心器件，原型滤波器决定了其频谱带外泄漏，影响着系统的实现复杂度及其在实际信道中的传输性能。因此，灵活设计具有不同时频特性的原型滤波器可以使OQAM/FBMC系统满足不同的通信性能需求。本论文总结了现有研究工作的优势与不足，深入研究了原型滤波器设计对系统的信道估计性能、实现复杂度以及抗时间偏移鲁棒性的影响，并相应提出三种不同的原型滤波器设计方案，提升了系统的通信性能和鲁棒性。具体研究内容如下：
　　1、针对数据符号对导频符号的虚部干扰导致系统信道估计性能下降的问题，我们研究了兼顾信道估计性能的原型滤波器设计。基于线性最小均方误差或加权最小二乘估计算法，我们推导了OQAM/FBMC系统信道估计的全均方根误差的理论表达式。为兼顾系统信道估计和低频谱带外泄漏性能，我们建立了以最小化原型滤波器的阻带能量为目标函数、以全均方根误差为约束条件的原型滤波器系数优化问题。基于海森堡不确定准则，我们将原不等式优化问题转换为等式优化问题。最后，联合拉格朗日乘子法和牛顿迭代法对该优化问题进行求解。仿真结果表明，与经典的IOTA （Isotropic Orthogonal Transform Algorithm）滤波器和优化的EGF（Extended Gaussian Filter）滤波器相比，我们提出的原型滤波器可以在提升系统信道估计性能的同时实现更低的带外泄漏。
　　2、针对基于频率扩展的滤波器组多载波（Frequency Spreading based-FBMC， FS-FBMC）系统架构（OQAM/FBMC系统的一种快速实现架构）实现复杂度高的问题，我们研究了具有低频率扩展且满足近似完美重建特性（Nearly Perfect Reconstruction，NPR）的短滤波器设计。首先，基于原型滤波器的频域设计法，我们将原型滤波器用其频率响应系数的离散傅里叶逆变换（Inverse Discrete Fourier Transform，IDFT）来表示。通过限制原型滤波器的有效频率响应系数的个数（即频率扩展），我们可以降低FS-FBMC系统的实现复杂度。然后，推导了短滤波器需要满足的系统完美重建（PR）条件。基于该PR条件和时域连续性需求，我们建立了以原型滤波器频率响应系数为未知参量的非线性方程并给出数值解。仿真结果表明，在FS-FBMC实现架构下，采用提出的短滤波器可以降低其实现复杂度，且系统能够有效地抵抗多径信道衰落、频率偏移和时间偏移的影响，鲁棒性强。
　　3、针对异步通信场景中时间偏移导致OQAM/FBMC系统解调性能下降的问题，我们研究了自适应时间偏移的原型滤波器设计。基于FS-FBMC实现架构，在存在时间偏移时，我们分析了系统接收端符号解调时的信号干扰功率比（Signal-to-Interference，SIR）性能。然后，以短滤波器为例，建立了以最大化SIR为目标函数、以近似完美重建性能和原型滤波器阻带能量为约束条件的原型滤波器优化问题。其中，原型滤波器用有限个频率响应系数的IDFT来表示，以控制其频率扩展特性。最后，我们使用序列二次规划法求解该优化问题。仿真结果表明，与现有的NPR1滤波器相比，采用提出的滤波器时，FS-FBMC系统对时间偏移的鲁棒性更强，且具有较低的频谱带外泄漏。
　　综上所述，本论文主要研究了OQAM/FBMC系统的原型滤波器设计，通过优化其波形以满足不同的通信性能需求。