基于强化学习的认知抗干扰技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:velvet_flower
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于全球媒体设备的爆炸式增长,频谱资源变得越来越稀缺,而认知无线电技术(CR)的出现极大的缓解了这一问题。CR通过对外界环境感知的方式动态的在不同频谱上进行数据传输。这种感知外界环境的方法可以在战时环境中被用来抵抗敌方干扰。CR的关键技术包括感知技术以及频谱接入技术。感知技术使CR具有实时感知外界环境的能力,而频谱接入技术则使CR拥有了智慧的大脑,可以通过分析外界频谱环境来决定用户选择进行数据传输的信道。由于战时环境的特殊性,无法获得敌方的干扰模式,因此可以利用强化学习(RL)技术,通过用户与外界环境的不断交互来学习干扰的活动状态,利用频谱状态预测与感知结果相结合的方式来达到抗干扰的目的。本文的主要工作可以简要概括为以下两个部分。首先,针对基于单节点的感知抗干扰问题,本文深入研究了使用较为广泛的强化学习Q-learning算法,然后针对减少信道跳转、提升抗干扰性能的目的重新设置了奖励函数,并对感知阶段与传输阶段都进行强化学习。为了增加算法的学习速度,采用了将感知结果与强化学习算法相结合的方式提出了一种基于单节点的感知抗干扰算法。该算法通过改善奖励函数,减少用户在不同信道间的跳转从而减少不必要的能量消耗,是经济且环保的。除此之外,此算法还减少了用户被干扰的概率,提高了系统性能。在增加系统抗干扰性能的基础上,双阶段的强化学习方式增加了用户的数据传输时间,这对于时间如金的对抗环境来说有着重要的意义。本文通过仿真实验验证了系统在抗干扰能力以及增加数据传输时间能力方面的性能。同时通过将不同的感知错误率应用到系统中的方法,验证了算法性能具有一定的鲁棒性。其次,针对在多智能体存在环境下,如果采用独立强化学习方式会产生用户间的干扰的问题,本文提出了基于多智能体强化学习(MARL)的稀疏学习算法。这种算法在多智能体存在的环境下,以协作的方式考虑整体系统的抗干扰性能,将邻居所选动作对自身的影响考虑在内,通过稀疏的学习的方式使抗干扰性能得到整体提升。最后利用仿真验证了该算法与独立学习算法以及基于感知算法相比的性能优越性,同时也考虑了在不同感知错误率存在的情况下对系统性能的影响。
其他文献
轴向拉伸在传统结构中,是一种基本的受力形式。在金属构件中,由于疲劳或腐蚀而导致结构刚度变弱、承载力下降,一般采取焊接加固技术对金属结构进行增强。不过此技术存在维护费用高、加固周期长、电偶腐蚀等缺点。玻璃纤维增强聚合物因其优异的力学性能,如抗疲劳、耐腐蚀、轻质高强,被广泛应用在金属结构的修复和加固中。本文设计了玻璃纤维增强聚合物(以下简称“玻璃钢”)与304不锈钢胶接接头试件,针对影响胶接接头连接承
党在十九大重点提出进一步开展混合所有制变革。通过混合所有制改革提高国有企业绩效是发展混合所有制经济的基本诉求之一,也是国有企业进行混合所有制改革的基本驱动之一。因此,本文在混合所有制改革相关理论的基础上,探析混合所有制改革与国企绩效之间的逻辑关系,以此明晰混合所有制改革与国企绩效之间的关系,以期为企业下一步的经营与治理提供思路。论文主要基于理论基础与内在逻辑构建了两个方面、三个层次的基本逻辑框架体
战略性新兴企业是具有自主创新能力和内含高科技前沿成果的知识密集型先导企业,在稳增长、促转型、引领创新发展等方面发挥重要作用,逐渐成为中国经济新引擎。在世界经济格局
正确地识别目标物体是实现机器智能化的关键任务。近年来,随着深度学习技术的发展,目标分类任务已经取得了显著的进展。然而,当前的目标分类技术大多都是基于图像的。图像在网络传输差、物体被遮挡等复杂情况下是难以获取的。因此,研究如何在目标图像不容易获取时的目标分类方法也是非常重要的。图像不容易获取的场景是多种多样的,本文仅研究两种情况下的解决方案:1)网络情况差,图像不利于传输;2)光照条件差或者物体被遮
机动平台合成孔径雷达(Synthetic Aperture Radar,SAR)系统具有高机动性、提前观测等优势。对机动平台SAR斜视成像及GPU并行算法的研究,可推进机动平台SAR系统实现快速实时性成像和目标检测识别功能。该研究可应用于新型对敌打击武器末段制导,提高对核心目标实施精确有效打击的能力,实现武器系统总体性能的优化,在国防军事上具有重要的应用价值和研究意义。本文主要工作如下:针对弹载平
随着电力电子技术快速的发展,越来越多的电子设备不断涌现,并广泛应用于电子通信、家用电器以及能源等领域。电力电子电路作为电源系统的主要组成部分,若是该电路发生了故障,可能导致整个系统出现问题,进而造成巨大的经济损失以及人力消耗。一般电力电子电路由主电路、驱动电路以及控制电路等多个部分组成。在实际工作中,主电路是最容易发生故障的,而主电路又是通过基本的Buck电路、Boost电路等组成,这些基本电路的
古斯-汉森位移(Goos-H(?)nchen shift,GH shift)是指入射光束在界面反射和透射时,实际反射光束和透射光束相对于几何光学预测的位置会产生一小段的横向偏移。近年来,单层石墨烯优越的力学、热学、光学及电学等性质使其迅速成为研究热点,它的出现为研究GH位移开辟了一个新方向。本文利用严格耦合波分析法和静态相位法系统地分析了基于单层石墨烯复合结构的古斯-汉森位移。本文的主要研究工作如
伴随着知识经济、智能经济等新型经济形势的出现,加剧了全球化经济的进程,产业链的优化整合已经成为当代经济组织结构的重要形态,它不仅与微观层面的企业个体密切联系,而且与
山东海运股份作为一家大型的国有航运企业,其投资主体是山东海洋集团,肩负着振兴山东半岛海运业的重要使命。经过近10年的快速发展,已成为国内第三大干散货船东公司。山东海运公司航运业务优势主要表现在,股东方具有较强的实力,附带租约的造船合同,专业化船舶队伍,大客户营销战略建立起的品牌优势及具有比较优势的船舶运营成本。劣势为:主营业务不够突出,运力结构不合理,客户差异化服务水平较低,高水平的航运专业人才匮
针对丁字湾渔业生物资源的调查和研究比较少,无法掌握当地海域渔业生物群落特征、分布情况及多样性变动等状况,本项目以丁字湾为研究海域,开展渔业生物调查,查明游泳动物的群