随着第五代（5th Generation,5G）移动通信系统商用部署步入关键阶段,主要核心使能技术的优缺点日益显露。考虑到移动数据流量爆炸式增长以及业务多样化的需求,全球无线研发界已经开始5G之后（Beyond 5G,B5G）乃至第六代（6th Generation,6G）移动通信系统的布局和建设。在B5G和6G的诸多潜在关键技术中,利用人工智能（Artificial Intelligence,AI）算法提升无线传输效能的智能通信技术成为学界和业界关注的重点。尽管AI算法在无线网络不同层次中的应用已有一些成功案例,但是有关先进收发机设计的理论与关键技术研究仍处于起步阶段。因此,本论文以数据模型双驱动为核心,对面向智能通信的先进收发机设计理论与关键技术展开深入研究。首先,总结基于深度学习（Deep Learning,DL）的先进收发机设计基础理论。对DL基本概念以及现阶段基于DL设计的先进收发机一般结构进行简要介绍。针对基于黑盒的收发机结构网络设计难、计算开销大、缺乏可解释性和性能难以保证等问题,介绍将通信理论模型与数据驱动的DL算法进行整合的数据模型双驱动框架,为后续章节开展先进收发机设计研究奠定基础。其次,设计基于数据模型双驱动的基本Turbo译码器。针对传统Turbo码迭代译码算法计算复杂度过高、现有数据驱动的Turbo译码器可靠性难以保证等问题,提出基于数据模型双驱动的Turbo码神经网络译码结构,称为Turbo Net。进而,设计Turbo Net的损失函数,可以有效解决网络的梯度消失问题。仿真结果表明,在相近误比特率（Bit Error Rate,BER）性能条件下,所提Turbo Net译码器的执行速度比传统迭代译码器快将近14倍,有效降低译码时延。随后,提出上述Turbo Net译码器的结构化剪枝方案。针对Turbo Net译码器引入过多冗余参数,致使计算开销增加的问题,提出基于结构化剪枝的Turbo Net改良结构,称为Turbo Net+。相比于Turbo Net,Turbo Net+可以在不降低纠错性能的前提下显著减少参数个数,从而降低计算和存储开销。进一步针对Turbo Net+的过拟合问题,提出基于及早停止机制的训练策略,从而可以高效地训练Turbo Net+。仿真结果表明,当设定目标BER为10-7时,所提Turbo Net+译码器相比于数据驱动的Turbo译码器可以获得大约1.5 d B的信噪比增益,并且执行速度快大约95倍。空口测试结果表明,所提Turbo Net+译码器对变化的场景具有强大的学习能力和鲁棒性。最后,面向大规模多用户多输入多输出（Multiple-Input Multiple-Output,MIMO）系统,设计基于数据模型双驱动的恒包络预编码器。针对现有迭代算法计算复杂度过高的问题,提出基于数据模型双驱动的恒包络预编码神经网络结构,称为CEPNet。仿真结果表明,所提CEPNet预编码器相比于传统迭代预编码器在多用户干扰抑制能力、平均可达速率、BER以及计算开销等方面均具有显著优势,并且对信道估计误差、信道模型失配以及MIMO系统配置具有很强的鲁棒性。在此基础上,提出联合CEPNet和Turbo Net+设计训练方法,仿真结果表明,在相近BER性能条件下,预编码和译码的执行速度分别比传统算法快大约13和14倍,有效降低计算复杂度。