基于深度强化学习的干扰决策技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yanji0708
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代战场上,随着雷达体制的改变,雷达工作模式的增多和雷达抗干扰能力的增强,战场环境变得更为复杂。干扰方根据侦察的雷达信号实时判断雷达工作模式的难度提升。针对雷达的任意一种工作模式,干扰方可以选择多种干扰样式对其进行干扰。传统干扰决策方法依靠经验或模板匹配选取干扰样式,不能保证选择的干扰样式是最优的。为了提高复杂电磁环境下干扰决策的性能,提出了基于监督抽样的深度强化学习干扰决策方法。本文主要研究了基于深度强化学习的干扰决策技术,建立基于深度强化学习的干扰决策模型,在识别雷达工作模式的基础上,分别研究了基于深度Q学习(Deep Q-network,DQN)的干扰决策方法及其改进方法以及基于深度双Q网络(Double Deep Q-network,DDQN)的干扰决策方法及其改进方法。仿真结果显示本文的方法具有更好的决策性能。论文的主要研究工作如下:1.分析了雷达干扰决策的过程,提出基于深度强化学习的干扰决策模型。分别分析了深度强化学习干扰决策模型里雷达常用的工作模式以及干扰方可采取的干扰样式。研究了干扰方实施干扰后获得的干扰收益并重点讨论了计算干扰收益的方法。2.分析了常用的雷达信号特征参数,根据雷达工作模式的特点,选择差异大的信号特征,并对选取的信号特征建模。探讨了几种常用的雷达工作模式识别方法及其识别雷达工作模式的过程。研究了基于反向传播(Back Propagation,BP)神经网络识别雷达工作模式的过程并构建了基于BP神经网络的雷达工作模式识别模型。最后进行仿真实验,对比不同方法的识别效果。仿真结果表明基于BP神经网络的工作模式识别方法受参数测量误差的影响较小,并且正确率高。3.分析了DQN决策算法决策的基础过程——马尔科夫决策过程、算法基本原理和模型。探讨了基于DQN的干扰决策原理,给出了基于DQN的干扰决策步骤。针对DQN算法由随机抽样导致的训练样本不均衡问题,提出了监督抽样的方法,并研究了基于监督抽样的DQN干扰决策方法。最后进行仿真实验,仿真验证了DQN及其改进方法的决策性能。4.分析了DDQN决策算法模型以及基于DDQN的干扰决策原理,给出了基于DDQN的干扰决策步骤。针对DDQN算法中由随机抽样导致的训练样本不均衡问题,采用本文提出的监督抽样方法进行改进,研究了基于监督抽样的DDQN干扰决策方法。最后进行仿真实验,仿真验证了DDQN及其改进方法决策的有效性,并对比了DQN及其改进方法与DDQN及其改进方法的决策性能。
其他文献
癌症是恶性肿瘤中最常见的一种,它的分布具有明显的地区性和地带性,有集中高发的现象。我国珠江三角洲地区典型地方性癌症是肝癌和鼻咽癌,其中鼻咽癌发病率居全球首位。目前9
近年来,互联网技术的飞速发展给国家经济带来新的机遇和挑战。为适应当前经济新常态,推动传统商业模式转型和提高企业信息化水平显得尤为重要。B2B2C平台连接产品供应方、运营方、销售方和客户,形成信息流通通道,促进企业发展,符合企业信息化需求,而运营方作为供应方、销售方、客户的枢纽,有着重要的作用,是本论文的研究重点。但传统平台运营后端系统以单体架构构建,导致项目体积庞大、模块间耦合度较高、系统可扩展性
收发同时的数字射频存储(DRFM)干扰设备性能关键影响因素之一就是干扰设备接收端与发射端之间的隔离,为了保证收发同时干扰设备对接收信号的准确识别,得到敌方雷达信号的信息,必须研究接收端与发射端之间的自干扰对消方法,使干扰设备的检测性能得到提高。本文对收发同时干扰机的自干扰对消进行了研究,提出了一种基于仿射投影和最小均方的凸组合联合(CVX-AP-LMS)算法的时域自干扰方法,以及一种空域自干扰对消
执转破制度是我国为解决执行难问题提出的重大举措,大量执行案件的积压既浪费了司法资源,也损害了广大债权人的合法权益。将执行不能案件转入破产程序一方面可以将执行不能案件及时退出,另一个方面也可以让濒临破产状况的企业通过正当程序退出市场以节约市场资源。破产程序的启动机制作为破产制度的首要环节,有着至关重要的作用。因此从执行转破产制度入手,对其中的破产程序启动问题进行研究,很有现实价值。这就需要从基础理论
热泵烘干方式已经广泛运用于工业制造、农业生产、商业、以及日常生活等各大领域。在热泵装置中,蒸发器起着至关重要的作用。闭式并联双蒸发器烘干机由于采用两个蒸发器。一个蒸发器用于取热,一个用于除湿。两个蒸发器并联布置使得烘干机的运行调节模式可多样化,能较好地适应不同物料的烘干要求。但由于运行工况时变性的原因,在实践过程中烘干机系统往往容易出现不稳定的流态,导致各种故障报警停机,制约了该项技术的推广。本文
在信息技术和软件产业的发展浪潮中,传统的软件开发模式在应对日益复杂的业务和快速变更的客户需求时显得捉襟见肘。基于此,EP公司不得不开始切换到敏捷开发模式,进而能够快速且持续地向客户交付具有定制需求且价值更高的软件产品。因此当软件项目切换敏捷开发模式后,如何有效提高软件交付质量,是本文研究的重点方向。本文首先研究学习了项目质量管理概念和市场主流的软件质量管理基础理论,接下来介绍了敏捷开发模式的特点,
“一带一路”建设是我国扩大对外开放的重大举措和经济外交的顶层设计。六大经济走廊的建设是“一带一路”建设的重要内容,其中包括中蒙俄、新亚欧大陆桥、中国-中亚-西亚、中南半岛、中巴和孟中印缅经济走廊。六大经济走廊将相关60多个发展中国家和地区列为中国对外交往的优先和重点对象。本文以六大经济走廊城市群为研究对象,测度其经济联系强度并在此基础上识别空间经济网络特征,探究六大经济走廊城市群经济联系强度的影响
食物对于人们来说,也许是一件习以为常之物,在日常生活之中,总会接触到各类关于食物的信息,但是对于食物的认知需要作以不同层面意义的构架,《孟子》中曾叙述到:“食、色,性也”;《礼记》中也提及:“饮食男女,人之大欲存”,可以看到食物在以上的叙述中,聚焦于人的本能,即一种生物性,满足于人的生存之需,当“美食”这一概念生成之时,“品味”之意融入于食物的意指建构之中,审美的要素逐步生发,所以食物这一日常之物
利用植物次生代谢物质光敏化降解环境污染物对水体污染修复具有重要意义。杀菌剂百菌清对水生生物毒性较高且在自然水体中主要降解产物为高毒4-羟基百菌清。本文研究了没食子酸对百菌清在不同水体中的光化学降解影响,在紫外灯、高压汞灯(HPML)、自然光(太阳光)三种光源照射下,没食子酸对百菌清光化学降解均有促进作用;通过高分辨质谱分析了百菌清在没食子酸作用下的降解产物,提出了可能降解机理。研究结果如下:在紫外
物联网设备已经广泛应用于智能电网、智能家居、智能医疗和智能交通等各种应用场景中,成为生活、生产和智慧城市的重要组成部分。然而,随着物联网的飞速发展,物联网网络安全事件也层出不穷,物联网设备遭受网络攻击和非法控制,严重影响到企业、用户的安全和隐私。物联网固件承载着物联网设备的核心功能,通过对物联网固件进行脆弱性分析是研究物联网设备安全问题的一种有效方法。由于物联网设备的指令集、操作系统、应用组件异构