相比于传统的正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）系统,滤波器组多载波（Filter Bank Multicarrier,FBMC）系统通过使用性能更优异的原型滤波器组作为整个系统的调制器,在不使用循环前缀的前提下,就具有较好的抗多径信道能力、较少的带外泄露以及较高的频谱效率等优点,因此受到学术界以及工业界的广泛关注,被认为能够在将来取代OFDM系统应用于移动通信场景中。作为FBMC系统中的重要元件,原型滤波器设计与实现方法一直是FBMC系统中的重点研究领域。由于原型滤波器能够对FBMC系统性能及其实现复杂度产生直接影响,因此有必要对FBMC系统原型滤波器进行优化设计,使其能够满足未来更加多元化的通信需求。本文在现有研究基础上,研究了原型滤波器对系统性能、传输效率以及实现复杂度的影响,针对性地提出了相应的设计方案,具体研究工作如下:针对提高FBMC系统SINR性能问题,本文推导了FBMC系统的信干噪比（Signal to Interference plus Noise Ratio,SINR）理论表达式,并建立了以最大化FBMC系统SINR为目标函数,以原型滤波器通带波动和阻带衰减性能作为约束条件的原型滤波器优化问题并且求解得到原型滤波器系数。仿真结果表明,与经典的PHYDYAS滤波器相比,本文设计的原型滤波器在取得近似以及更优的SINR以及误码率（Symbol Error Rate,SER）的前提下,有着更优异的阻带衰减性能。针对FBMC系统时域传输效率较低问题,本文提出对FBMC系统时域发射信号进行截断来提高时域传输效率,在接收端对截断部分补零恢复标准长度的FBMC-OQAM接收信号。由于时域截断较大地改变了信号完整性,为了兼顾系统SINR性能,通过优化原型滤波器来消除由时域截断产生的影响。仿真结果表明,与经典的PHYDYAS滤波器相比,本文设计的原型滤波器在取得近似以及更优的SINR以及误码率的前提下,能够提高系统时域传输效率。针对FBMC系统实现复杂度较高问题,本文提出采用串行优化设计的有限冲激响应内插（Interpolated Finite Impulse Response,IFIR）技术设计低复杂度原型滤波器,并将其应用到FBMC系统中。仿真结果表明,与经典的PHYDYAS滤波器相比,本文设计的原型滤波器在取得近似的SINR以及误码率的前提下,降低系统实现复杂度。综上所述,本论文根据优化设计原型滤波器,能够达到更优的传输性能以及实现复杂度。