为了满足第5代移动通信系统对于传输效率、时频资源利用率以及业务的灵活多样性等方面的需求,滤波正交频分复用技术(F-OFDM)作为一种新型的多载波技术被提出并成为下一代移动通信系统的候选方案之一。F-OFDM技术通过对频谱资源的划分以及相比于正交频分复用技术(OFDM)新增的子带滤波技术,不仅保留了OFDM技术能够高速有效地进行数据传输等优点,还克服了OFDM带外泄露严重、对同步性要求严格等缺点,拥有多个可配置不同参数的子带以实现业务需求的灵活性。但F-OFDM系统由于存在多个高阶子带滤波器,导致系统具有较高的实现复杂度,同时也存在峰均功率比(PAPR)较高的劣势。本文主要针对这两个问题进行重点研究。本文首先介绍了F-OFDM系统的整体构架,重点阐述了系统发射端和接收端中不同于OFDM系统的关键部分的工作原理及实现方法,并通过仿真验证F-OFDM系统能够得到与OFDM系统相似的可靠性。其次,研究了基于窗函数法的滤波器设计方法,并比较了不同窗函数的特征及其对系统性能的影响。针对F-OFDM采用子带滤波后导致系统实现复杂度增大的问题,提出了用基于重叠保留法或重叠相加法的频域滤波方法代替时域滤波方法,实现低复杂度的子带滤波。对比时域滤波与频域滤波的计算复杂度,结合系统的误码率曲线进行分析可知,采用频域滤波的F-OFDM系统在保持原系统误码率性能的同时,能够显著降低系统实现复杂度。再次,介绍了已有的应用于OFDM系统的PAPR抑制技术,对C变换法和限幅滤波法进行研究,并针对F-OFDM系统架构的特点,分别完成这两种算法在系统中的应用。根据算法对系统误码率和PAPR产生的影响,分别将两种算法优化为C变换滤波法和迭代限幅滤波法,通过仿真分析采用了新算法的系统各方面性能的表现。最后,提出了一种新的应用于F-OFDM系统中的PAPR抑制算法:C变换迭代限幅滤波算法,并对其进行优化。通过仿真验证优化后的C变换迭代限幅滤波算法,虽然在一定程度上增加了系统的复杂度,但在PAPR的抑制和系统的可靠性方面都优于原先的PAPR抑制方法。