近年来,作为有效提升频谱资源利用率、实现智能通信和夺取电磁频谱战制胜权的关键技术,认知无线电受到各界学者和机构的普遍关注。随着认知无线电网络的广泛应用,如何实现其高安全、高可靠的通信成为国内外研究热点问题。传统的加密手段和物理层安全技术已不能满足现代通信发展需求,迫切需要探索具有更高等级信息安全的新兴技术。作为一种低检测/低截获通信手段,隐蔽通信为实现认知无线电网络安全可靠通信指引了发展方向,尤其采用深度学习技术来实现智能化隐蔽通信,将极大程度地促进认知隐蔽通信技术的推广应用。本文结合认知无线电网络隐蔽通信的新需求,主要从认知非协作系统下隐蔽通信、认知协作系统下隐蔽通信以及认知隐蔽通信网络效能优化三个方面展开研究,主要工作和取得的成果包括:一、针对认知非协作系统下无人机干扰辅助隐蔽通信场景,将优化过程转化为无人机与窃听者之间的动态博弈问题,设计了一个全新的模型驱动生成对抗网络（Model-Driven Generative Adversarial Network,MD-GAN）,将未知信道参数和检测阈值作为训练权值,使MD-GAN的网络层数、神经元数目、权值和激活函数具有可解释性,在此基础上,提出了基于GAN的无人机轨迹和功率联合优化算法（GAN Based Joint Trajectory and Power Optimization Algorithm,GAN-JTP）,采用竞争方式交替训练生成器和鉴别器,最终达到纳什均衡,输出可行方案。仿真实验表明,GAN-JTP算法不仅具有快速收敛性,而且能够在已知部分信道分布信息（Channel Distribution Information,CDI）和未知窃听者检测阈值的情况下,生成无人机轨迹和功率优化方案,隐蔽性能优于现有算法。二、针对认知非协作系统下智能反射面（Intelligent Reflecting Surface,IRS）增强隐蔽通信场景,引入迁移学习和生成对抗的概念,设计了一种由源域生成器、目标域生成器和鉴别器构成的域对抗迁移网络架构,提出了基于域对抗迁移网络的资源优化算法（Domain Adversarial Transfer Network Based Resource Optimization Algorithm,DATN-ROA）,通过学习和迁移未进行隐蔽通信时的资源优化隐含特征,在合法用户和窃听者的动态博弈过程中生成合法用户的波束成形向量和IRS的相移矩阵联合优化方案,实验结果显示,DATN-ROA算法能够在未知窃听者信道状态信息（Channel State Information,CSI）和检测阈值的情况下,生成性能较优的隐蔽通信资源优化方案,具有快速收敛的能力。三、针对认知协作系统下中继节点利用主用户授权信道机会式隐蔽传输信息的场景,提出了一种基于GAN的隐蔽通信功率分配算法（GAN Based Power Allocation Algorithm,GAN-PA）,将机会式认知协作隐蔽通信功率分配优化问题转化为协作中继与主用户之间的动态博弈问题,生成器模拟认知中继生成隐蔽通信功率分配方案,而鉴别器模拟主用户来判断认知中继是否存在隐蔽通信,通过交替训练分别由三层神经网络构成的生成器和鉴别器,最终输出可行方案。仿真实验和性能分析均表明,GAN-PA算法能够在已知部分网络状态信息和未知检测阈值的情况下,生成近似最优的隐蔽通信功率分配方案,不仅具有快速收敛的能力,而且更具有实用性。四、针对认知隐蔽通信网络效能优化场景,建立了认知隐蔽通信网络性能评估机制,从频谱效率、能量效率和公平性三方面联合评估认知隐蔽通信网络的整体性能,在此基础上,提出了一种基于模型驱动深度强化学习的资源分配算法,首先基于频谱效率最大化得到交替方向乘子法（Alternating Direction Method of Multipliers,ADMM）数据流,构建基于深度神经网络（Deep Neural Netwrok,DNN）的优化框架,将CSI信息作为未知训练权值,其次,提出一种基于Q学习的资源分配算法（Channel Information Absent Q-learning Resource Allocation Algorithm,CIAQ）,将能量效率和公平性作为训练DNN的奖惩值,通过与网络环境进行交互,在不需要大量标签数据的情况下训练基于DNN的优化框架,在已知部分CSI信息的情况下,自主学习得到资源分配方案。仿真验证结果显示,CIAQ算法具有快速收敛能力,不仅可以通过调整折扣因子来确定优化目标,而且优化性能明显优于传统神经网络中采用的随机初始化方法以及现有的资源分配算法。