经典的正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)技术经过几十年的发展,得到了深入研究和广泛应用。与此同时,OFDM存在频谱效率低、抗载波频偏能力弱和带外功率泄露严重等问题。为了满足下一代无线通信技术的需求,一些新的多载波调制方法被提出,其中具备诸多优良特性的滤波器组多载波(Filter Bank Multi-Carrier, FBMC)技术被认为是一种非常具有潜力的选择方案,并被越来越多学者所关注。相对于传统的OFDM系统而言,FBMC系统使用了具备良好时频聚焦特性的原型滤波器组对每个子载波进行成型滤波,因而具备更好的抗符号间干扰和子载波间干扰能力,并且循环前缀的省略带来了功率效率上的提升,同时带外衰减也大幅度降低。尽管FMBC系统具备许多优良特性,为了追求频谱效率的最大化,FBMC系统中各个子载波之间的正交性只能在实数域得到满足,从而给系统内部引入了固有的虚部干扰。由于固有干扰的存在,FBMC在信道估计和多天线检测方面遇到了一些挑战。在FBMC系统的信道估计方面,考虑到FBMC系统的自身特点,本文主要针对基于块状导频结构的信道估计方法进行研究。文中首先对FBMC信道估计的原理和滤波器干扰权重系数矩阵进行了研究。根据分析可知,如果接收端解调后的等效导频符号幅值越大那么对高斯噪声的抵抗能力就越强。因此,可以通过合理的导频排布使得导频符号上的虚部干扰相互增强来提升信道估计的性能。紧接着本文对四种基于干扰近似(Interference Approximaiton Method, IAM)的方法进行了研究,并对IAM方法的导频结构进行改进使其能够应用到MIMO-FBMC系统当中。最后在IAM方法导频结构的基础上,提出了一种基于迭代干扰估计的MIMO-FBMC信道估计方法。在空间复用情形的MIMO-FBMC系统多天线检测方面,本文首先对经典的线性检测器进行了介绍。由于FBMC系统内部干扰的存在,会导致最小欧式距离准则失效,经典的最大似然检测器无法直接应用到MIMO-FBMC系统当中。为了提高检测器的精度,必须对内部干扰进行抑制或消除。紧接着,本文从干扰消除的角度出发,通过利用线性检测器做初步检测再对干扰项进行估计并加以消除,使得最大似然检测器能够应用到MIMO-FBMC系统当中。最后,为了进一步提高检测的性能并降低复杂度,本文针对MIMO-FBMC系统提出了基于迭代的K-Best检测算法,该算法中引入干扰重建和干扰消除并以迭代的方式提升检测器的性能。