光网络中基于强化学习的动态资源分配技术研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wangchaofmm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新型业务的不断发展,光网络面临着巨大的挑战。与传统业务相比较,新型业务有着动态性丰富并且难以预测的特点,同时它们对于时延和带宽提出了更苛刻的要求。传统的光传输技术由于受到带宽瓶颈的限制,无法满足日益增长的业务需要。丰富的动态性也使光网络动态资源的分配变得十分复杂。数字孪生(Digital Twin,DT)作为智能制造业中的新兴信息技术,致力于实现低成本、高效率的物理设备动态建模和控制。与此同时,深度强化学习(Deep Reinforcement Learning,DRL)被证明能够通过与环境的实时交互来感知复杂的环境状态并学习最佳策略,可以用作数字孪生的使能技术。本论文分析了数字孪生技术在光网络中可能的应用方向,描述了光网络中的数字孪生架构,并指出了将深度强化学习和数字孪生相结合可以带来的优势。基于深度强化学习使能的数字孪生技术,通过对可编程光收发机(Programmable Optical Transceiver,POT)进行智能配置,实现了光网络中的动态资源分配。论文的主要创新点如下:第一,在接入网场景下,为了保证时延性能,业务通常占用较大带宽,这就造成了带宽浪费。针对此接入网环境,提出了一种采用DRL-enable DT的可编程光收发机配置方案。该方案使用了数字孪生技术,基于深度强化学习算法,对学习提升模型进行了实现。该方案能够适应网络条件和物理条件的变化,同时对网络时延和带宽占用进行优化。仿真结果表明,在时延仅提升0.7%的代价下,减少了 19.4%的频谱占用。最终实现接入网中可编程光收发机的自适应配置。第二,在传送网场景下,渴望提高传送网的频带利用率,提高整个网络的吞吐量。提出了并实现了光传送网中基于DRL-enable DT的可编程光收发机配置方案。实验结果表明,与基于静态控制模型和神经网络的传统方案相比,所提出的方案平均可以降低7.0%的阻塞率,并提高15.5%的吞吐量。
其他文献
在模拟试验基础上,采用CO2双面双弧气体保护焊进行了转炉三点球面支撑耳轴的焊接.对焊接接头进行了拉伸、弯曲及冲击试验,试验结果满足相关标准要求.介绍了转炉耳轴支撑厚板的焊接工艺流程.对比了单弧焊与双弧焊的焊接时间与焊接变形,采用双面双弧焊方法显著提高了焊接生产效率,并使焊接变形控制在0.5 mm的有效范围内.该焊接案例为双面双弧焊技术在冶金行业厚板焊接上应用提供了实践经验.
在传输容量与日俱增的信息化时代,光纤通信技术蓬勃发展,光通信系统也经历了天翻地覆的革新。随着复杂光调制、动态光传输等技术的发展,对超高速、大容量、长距离的新型光传输系统进行仿真模拟具有重要的研究价值,可以有效、灵活地模拟实际光传输过程,有助于科研人员和运维人员进行传输预演、数值计算和理论分析。通常一个完整的系统仿真,可以收集到一个信号从发送端到接受端不同阶段的数据信息,可以更好地了解到信号在经过不
桥式起重机作为搬运与装卸物料的特种机械设备,是集机械化、自动化于一体的大型机电一体化产品,在减轻作业人员的体力强度和企业生产效率方面具有突出的作用.接地保护作为桥式起重机械电气设备的一种电气安全保护系统,主要是为了保护起重机械操作人员以及其他与起重机械相关的作业人员在起重机械通电作业情况下的人身安全.在日常检验如何准确地对接地保护方式进行判断和检验,成为当前研究的重中之重.阐述了桥式起重机接地保护组成,介绍了检验过程中常见的几种接地保护形式,并对检验过程中碰到的检验案例进行分析探讨,为桥式起重机械接地保护
采用有机酸浸取工艺对比了草酸、柠檬酸、乙酸、丙酸、丁酸和戊酸6种有机酸对某转炉粉尘中铁和锌的浸出效果,并进一步对丁酸浓度和液固化学计量比进行了优化探索.结果表明:6种酸对锌和铁的浸出行为不同,草酸极易在粉尘表面生成沉淀物阻碍浸出,柠檬酸具有络合性有利于浸出但锌的浸出选择性差,其余4种烷基酸随碳链增加对锌的浸出选择性增大,到丁酸效果较好.对丁酸浸出条件进行初步优化后,锌和铁的浸出率分别为51.2%和0.5%,浸出液中锌与铁的质量比为12.6,并设计了丁酸浸出工艺流程,可为未来处理钢铁含锌冶金粉尘提供参考依据
以EAF-LF-VD-钙处理-CC实际生产工艺路线为背景,利用超声波探伤检测方法,研究37Mn5热轧棒材中毫米级宏观大尺寸夹杂物形貌特征、尺寸大小及成分特点,通过对实际精炼过程中的棒材进行取样分析,探明钢液、炉渣成分和夹杂物的演变规律,同时提出了对应的改进措施.研究结果表明:热轧棒材中造成探伤不合格的宏观大尺寸夹杂物主要由小于10μm细小的CaO-MgO-Al2O3类夹杂物堆集而成,纵截面尺寸长约20 mm,这类夹杂物大都位于高熔点区(非液相区),在连铸过程碰撞、合并、聚集、长大而成.系统的工艺研究表明:
房间空调器是居住建筑的主要空调供暖设备,在改善居民生活品质、提升工作效率中发挥了重要作用.自改革开放以后,我国家电行业快速崛起,空调器技术得到了迅猛发展,已成为全球房间空调器的研发、生产和应用大国.
现在用户对故障恢复时限要求很高,比如语音、游戏业务,如果故障恢复时间控制在ms级,用户接近无感知,对业务影响不大;但如果达到秒级,则用户体验较差.在承载网三层,通过IP FRR,VPN FRR等,利用快速重路由绕过故障节点,从而达到快速恢复.BRAS做为网关设备,需要处理大量的用户信息(包括用户认证授权、计费信息、QOS信息等等),因此路由器的冗余技术不适用BRAS.通常我们采用BRAS双机热备以达到汇聚接入层的安全保护.
智能电网是5G低时延业务的重要应用场景.本文结合江西省03专项的实际案例,从5G低时延业务需求、组网方案、业务应用测试等方面,较全面研究了5G低时延电力专网组网与应用,并探索进行了低时延满足度预算分析,比较准确可靠进行网络时延估计,可为工程实践提供参考.
随着微波通信频谱资源的愈加紧张,人们对通信速率、通信容量的要求却越来越高,自由空间光通信(Free Space Optical Communications,FSO)因其大容量、宽频谱、抗干扰能力强等优点渐渐成为人们研究的重点。另外,轨道角动量(Orbital Angular Momentum,OAM)光束的提出,为空间光通信带来了一个新的调制维度,使得OAM键控FSO系统吸引了大量学者的关注与研
随着大数据时代的来临,5G通讯等新型传播技术,以及在线社交平台等信息传播形式不断发展,导致信息的传播速度以及规模出现爆炸式增长。然而海量网络信息在与人便利的同时,其中所隐藏的虚假信息也给人们生活乃至国家信息安全带来困扰。因此,对于网络信息可信评估的研究有着十分重要的现实意义。在大数据网络环境下,信息数据呈现出多源异质、有效信息密度低等特征,使得人们难以有效的对信息数据进行有效的收集利用。以往的信息