多载波调制技术是无线宽带通信系统中对抗频率选择性衰落不可或缺的技术手段。人工神经网络是近十年来得到快速发展的“人工智能”技术,并被广泛应用于图像处理、语音识别以及无线通信系统上层领域,在物理层中也具有巨大的应用潜力。将神经网络技术和多载波调制技术结合,能够突破传统模块化通信系统的局限性,应对更复杂的信道环境,获得性能上的提升。本文主要研究了经典的多载波调制技术、基于神经网络的多载波联合信号检测系统和基于自编码网络的端到端多载波系统。本文首先详细介绍了多载波调制技术和人工神经网络技术的原理特性。本文详细阐述了 OFDM和FBMC系统的收发机结构和原理,并以FBMC为例,具体分析与推导了其在实际信道条件下的接收信号。接着对FBMC系统常用的信道估计算法和信道均衡算法进行说明。然后从基本的神经元结构入手,介绍了深度神经网络、卷积神经网络以及自编码网络3种典型的人工神经网络模型,并对其优缺点和擅长领域进行比较。然后本文对基于神经网络的多载波联合信号检测系统进行了研究,提出了 DNN-FBMC和CNN-FBMC联合信号检测系统。本文首先介绍了基于神经网络的FBMC系统基本模型,并分析了与传统FBMC系统的差异。接着引入深度神经网络(DNN,Deep Neural Network),提出了 DNN-FBMC系统,可以自适应的学习信道特征。针对多载波调制系统的时频维度特性,在DNN-FBMC系统基础上引入卷积神经网络(CNN,Convolution Neural Network)特征提取模型,提出CNN-FBMC系统。该系统更擅长学习FBMC时频二维数据特征,增强系统鲁棒性。本文还在原来损失函数的基础上,从分析FBMC输出信号特征的角度,提出了经过优化的损失函数。仿真结果表明,该优化后的损失函数可以大幅度提高NN-FBMC在训练初期的收敛速度。此外,DNN-FBMC和CNN-FBMC系统的性能均好于应用最小二乘信道估计的传统FBMC系统BER性能,其中CNN-FBMC比DNN-FBMC具有更好的BER性能、更强的鲁棒性以及对导频更少的依赖性。最后研究了基于自编码网络的多载波调制端到端系统,以FBMC为例。本文受基于自编码网络的单载波端到端系统启发,利用自编码网络重构输入数据的特性,建立并行编/译码网络模型,提出了 AE-FBMC端到端系统。该系统突破了传统通信系统中的模块化局限性,赋予整个系统更多的自由度和自驱动能力。接着本文引入图像领域的空间转换网络(STN,Spatial Transform Network)算法,将其根据多载波系统的特点改进成通信转换网络(CTN,Communication Transform Network)模型,并应用到 AE-FBMC 系统中,进而提出 CTN-AE-FBMC端到端系统。该系统不仅具AE-FBMC的优点,还可以结合转换网络学习到更多的信道特征。仿真结果表明,AE-FBMC系统具有比应用最小二乘信道估计的传统FBMC系统更好的BER性能,且CTN-AE-FBMC系统性能远好于AE-FBMC系统,其BER性能非常接近应用最小均方误差信道估计的传统FBMC系统。此外,CTN-AE-FBMC系统对导频的依赖性很低,可以在不含导频时实现较好的鲁棒性。进一步仿真还说明CTN-AE-FBMC系统相比CNN-FBMC系统也具有更优的性能。