基于深度强化学习的非线性弹性光网络光路配置方案

来源 :东南大学 | 被引量 : 0次 | 上传用户:Green__lucky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新兴应用程序(如云计算)的不断涌现和新型网络模式(如物联网)的普遍应用,要求新的网络基础设计建设能够支持动态、高容量和可靠传输质量的端到端服务,在这种背景下波分复用光网络已经越来越难以满足用户的需求。和目前广泛应用的固定网格波分复用光网络相比,弹性光网络(Elastic Optical Network,EON)可以通过梳理一系列更细粒度的子载波灵活建立超级通道,并且可以根据传输质量要求调整调制格式。因此近年来,弹性光网络技术被认为是下一代骨干网最有前途的网络技术之一。同时,EON灵活的资源分配机制使得相应的服务配置设计更加复杂。为了提升EON频谱资源利用率,需要对路由、调制格式和光谱资源分配问题进行深入研究。本课题组近来对弹性光网络动态资源算法进行了深入的研究,提出了一些资源分配机制方案。本文对弹性光网络资源分配问题进行了深入的调查研究,回顾了近些年来国内外学者在弹性光网络资源分配问题方面进行的研究。在现有的研究基础之上,展开了基于深度强化学习的非线性弹性光网络资源分配算法的研究。本文提出了一种基于深度强化学习的非线性弹性光网络光路配置方案。当业务请求到达时,神经元网络可以感知非线性弹性光网络的状态,代理会根据状态选择一个动作尝试着去建立光路服务这个请求,动作执行后代理会获得对于刚才动作的反馈。通过与环境的交互,可以训练深度强化学习策略网络的参数,从而可以学习到正确的非线性弹性光网络光路配置方案。我们建立了状态空间模型,主要包括业务请求的信息以及网络拓扑的状态。为了能够便于深度强化学习代理进行学习,我们并没有简单地将弹性光网络中每条链路上的每个频隙的状态都考虑进去,而是考虑了将与当前业务请求相关的K条备选路径上面基于M种不同调制格式的J个频谱快的信息作为状态空间表示模型种网络拓扑信息部分。与采用传输物理距离限制确定调制格式的方案不同,我们引入了高斯噪声模型去计算业务请求的信噪比,从而选择满足信噪比限制条件的调制格式。在业务请求到达时,我们将为它准备K·M·J个方案,并且计算每个方案中连接的信噪比,再与该调制格式的阈值进行比较。需要注意的是,与静态光路配置不同,在动态光路配置问题中,亦需要考虑未来业务请求对于当前业务请求的影响。本文通过仿真验证了上文提出的基于深度强化学习的非线性弹性光网络光路配置算法的正确性,比较了不同神经元网络参数以及不同K和J的数量对于光路配置算法的影响。同时本文也将该算法与基准算法进行了阻塞率方面的比较,据仿真结果显示,与基准算法相比请求的阻塞率降低了约46.67%。
其他文献
桩承式加筋路堤作为一种有效的软土地基处理技术在工程上被广泛应用。在我国东部沿海地区广泛分布着深厚软土地基,在实际工程设计和施工中,桩身未能穿透软土进入硬土层或基岩。目前现有的悬浮桩桩承式加筋路堤的设计理论落后于实际工程应用,且对悬浮桩桩承式加筋路堤力学特性的研究较少。基于已有经验,实际工程中采用的悬浮桩桩承式加筋路堤,在设计时对桩底土层承载力有一定要求。本文采用数值模拟与理论推导相结合的方法,对静
听觉界面作为人机交互界面的重要组成部分,已经被广泛应用于各种人机交互系统,听觉界面通过听觉告警、听觉补充和信息分流等方式在视觉界面支持和辅助方面发挥了重要作用。随着信息系统的日益复杂,多通道交互的需求越来越大,听觉界面作为多通道交互的重要手段对人机交互界面的交互安全和绩效越来越重要。然而目前听觉界面的设计不当的问题突出,相应的听觉界面工效评价存在不足,因此有必要对听觉界面工效评价进行深入研究。本文
藻细胞破裂会产生大量的藻类代谢物,通过藻类代谢活动释放的藻类有机物(AOM)含有氨基酸、碳水化合物和蛋白质等,这些物质是生成消毒副产物(DBPs)重要的前体物。卤代硝基甲烷(HNMs)是典型的含氮消毒副产物(N-DBPs),相较于三卤甲烷(THMs)、卤乙酸(HAAs),HNMs具有更强的细胞毒性和基因毒性。本论文以藻溶液作为生成HNMs的前体物,研究了藻溶液在紫外/氯胺条件下生成HNMs的规律,
相较于非隔离型的驱动芯片,采用隔离结构的GaN驱动芯片在高频应用中拥有更强的抗干扰能力。隔离型驱动芯片内部需要增加发射电路和接收电路实现信号在隔离介质上的传输,其中发射电路增加了芯片的功耗。功耗的增加会带来散热及电路性能下降等问题。因此,研究隔离型驱动芯片发射部分低功耗调制技术具有重要意义。本文首先分析了光耦隔离、磁隔离和电容隔离三种隔离方式以及相应的调制技术,阐述了电容隔离在GaN隔离驱动芯片高
鉴于抗生素污染问题的严峻性和电催化氧化技术在处理抗生素废水方面的广泛应用,开发新型电极已成为具有潜力的发展方向。本研究制备了Mo2C/钢丝网复合材料(SS_Mo2C)作为电催化氧化系统的阳极,并以典型抗生素—四环素(Tetracycline,TC)为例,初步探究不同电压下其对抗生素的氧化去除特性。在此基础上,将该材料应用于生物电化学系统中,对比分析不同耦合方式对系统中TC去除的影响,解析其降解机理
能量采集电路通过采集环境中的能量给物联网节点等低功耗应用供电,由于环境中的能量有限,需要能量采集电路具有较高的转换效率,而能量采集电路的转换效率主要由电路中的升压电路决定,现有的主流升压电路包括基于电感型的升压电路和基于电荷泵的升压电路,本文设计了一种应用于能量采集的高转换效率电荷泵电路。本文主要完成了电荷泵主电路和辅助模块的设计,其中辅助模块包括时钟发生器、基准电路和比较器等模块。电荷泵主电路为
可靠的行程时间预测是出行服务的重要内容,准确的行程时间预测可以帮助出行者合理地选择出发时间和行程路径,减少了城市交通网络在高峰期间的交通荷载压力,有助于提高交通网络的服务水平,对城市智能交通的发展具有非常重要的意义。但现有的行程时间预测方法主要是点预测,仅提供一个预测值,无法充分体现行程时间的不确定性和个体差异,不能提供时间可靠性、极端情况下的行程时间等对出行者而言具有重要意义的信息。因此,论文结
桩-土相互作用分析是桩基承载性能研究的重要部分。桩-土系统的响应会随着荷载形式的变化而变化,尤其是在地震荷载作用下,荷载的方向与大小随时间持续转变,土体主应力方向不断发生旋转,大小也会不断变化。由此可见,复杂荷载路径下桩-土系统响应非常难以捕捉。此外,本质上地震荷载先使土体产生变形,进而带动桩发生运动。因此,场地响应分析是地震荷载作用下桩土相互作用研究的前提。有限元法(FEM)目前广泛应用于大型岩
城市路网交通运行状态可靠性是城市路网运行状态的重要性能指标。针对复杂城市路网上进行路网交通运行状态可靠性度量,是进行路网交通管理和出行者出行诱导的重要前提和依据。在全面梳理路网可靠性定义与度量方法的基础上,本文以路网交通运行状态为研究对象,提出基于路段-路网框架的路网交通运行状态可靠性度量方法。本文的主要研究内容包括以下几个方面:首先,综述路网可靠性度量方法国内外研究现状。分析路网可靠性的基本概念
数字水印作为一种在多媒体文件中利用计算机算法嵌入标识信息的技术,由于其本身安全性,隐蔽性和鲁棒性的特征,近年来一直是研究的热点。基于视频压缩编码算法的数字水印研究也随着科技的发展越来越多样化,应用多集中于版权保护,内容认证,拷贝控制,信息保密等方面。基于监控视频所面临的实际问题,例如,监控视频的非法传播,视频盗摄等,本文研究一种数字水印技术,以实现视频可溯源应用。该技术主要应用于敏感监控视频监管。