传统的通信物理层技术涉及信道建模、最优采样方案和信号检测等模块的设计以确保数据的无差错传输。由于在诸如水下通信、分子通信场景中信道模型难以用精确的数学模型来描述,毫米波通信、超密集网络系统需要实时处理海量数据,传统物理层技术的局限性由此而显现。因此将具备海量数据处理、深度特征挖掘、通用函数拟合能力的机器学习和深度学习工具应用到通信物理层成为了一个重要的研究课题。基于此,本文研究了基于深度学习的多载波波形识别技术以及利用深度学习设计的物理层传输系统。针对正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)、通用滤波器多载波技术(Universal Filtered Multicarrier,UFMC)以及基于交错正交幅度调制的滤波器组多载波(Filter Bank Multicarrier With Offset Quadrature Amplitude Modulation,FBMC/OQAM)的多载波波形识别问题,本文提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的多载波识别系统。本系统中引入主成分分析来对接收信号进行预处理以抑制加性高斯白噪声(Additive White Gaussian Noise,AWGN),以信号的一维幅度数据作为CNN的输入。通过理论分析和数据仿真证明,在存在AWGN、衰减、频率偏移、定时偏差的信道条件下,本文提出的系统能取得较高的多载波信号识别率,在信噪比大于9d B时,识别率达到了90%,识别率性能优于以同相/正交(Inphase/Quadrature,I/Q)两路数据作为输入的卷积神经网络多载波识别系统。另一方面,针对利用深度学习设计的物理层传输系统,由于现有基于自动编码器的物理层传输系统在多径衰落信道中误块率性能不佳,本文提出了一种结合辅助序列的自动编码器网络系统。本系统将分别经过信道后的传输信号与辅助序列拼接在一起,并将它们送往接收端,让接收端网络从辅助序列中自动挖掘信道信息并对传输信号进行重构操作。仿真结果显示,在瑞利衰落信道及莱斯衰落信道条件下,本系统能够取得比现有基于自动编码器的通信系统更好的误块率性能,在信道条件更恶劣时,本系统鲁棒性更好且网络结构更灵活。