基于深度强化学习的电力系统自适应不确定性经济调度

来源 :武汉大学 | 被引量 : 0次 | 上传用户:hznewblue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大规模可再生能源并网的趋势下,风电、光伏等间歇性电源出力的不确定性给电网调度运行带来了挑战。传统调度方法通常建立在对不确定性进行模糊建模或概率建模的基础上,当系统同时包含风、光、荷等复杂随机性因素时,整体不确定性的精确建模存在难度,调度结果的准确性将受到影响。而强化学习通过学习模型与所处环境的不断交互,利用反馈信息逐步改进决策能力,同样是基于预测-决策的模式,能够在不确定性问题的决策中发挥积极作用。
  本文研究了基于深度强化学习的自适应不确定性经济调度方法。首先,选择了适用于解决高维连续决策问题的深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)作为深度强化学习的核心算法。分析了强化学习的决策模式在形式和目标上与经济调度问题的契合度,总结了强化学习方法避免环境建模和自适应不确定性的方式,提出了强化学习方法应用于实际问题时的设计思路。
  针对含风、光、荷复杂不确定性的电力系统动态经济调度问题,提出了基于深度强化学习的自适应不确定性经济调度方法。在避免对系统复杂不确定性进行建模的前提下,建立了以随机变量表示的电力系统动态经济调度模型;进一步将该模型定义为强化学习中马尔可夫决策过程的模式,在状态转移和即时奖励的定义中涵盖对所有优化目标和约束条件的考虑;针对算法在不同随机性场景下的适用性,设计了模型泛化机制;针对DDPG训练不稳定的问题,设计了衰减探索、增设经验回放池和调整环境感知-学习比的算法机制,构建了一套完整的经济调度问题的深度强化学习求解模式。在含5个常规机组的算例系统中验证了DDPG对不确定性的自适应性和调度结果的经济性,对算法的收敛性、稳定性和算法局限性进行了分析。
  针对考虑机组启停决策的混合整数随机规划性质的机组组合经济调度问题,提出了基于模仿学习和强化学习的机组组合经济调度方法。针对复杂问题背景下DDPG前期学习的盲目性问题,引入模仿学习,提出了学习范例的深度确定性策略梯度算法(Deep Deterministic Policy Gradient from Demonstrations,DDPGfD),利用传统调度决策经验来改善强化学习前期训练速度。在前文提出的经济调度问题的深度强化学习求解模式基础上,针对机组启停决策进行了状态转移规则的设置;针对增加考虑的旋转备用置信水平约束、线路传输容量约束等复杂约束,提出了学习序列提前终止机制。最后,在IEEE-39节点系统中验证了所提方法的可行性,结果表明,论文所提出的DDPGfD算法能够自适应间歇性电源出力的不确定性,学习到较调度决策经验更优的调度策略;论文所设计的算法机制在学习过程中起到了关键作用。
其他文献
过去十年来,随着国家政策的大力支持和风电技术的日趋成熟,双馈风电机组(doublyfed induction generator, DFIG)的装机容量凭借其灵活的有功无功功率解耦控制、高效的能量转换等优点取得了迅猛的增长。为了提高大容量风电功率远距离外送的传输容量和稳定性,需要在高压输电线路中串联补偿电容。但是,串联电容和双馈风电机组多动态控制环节之间的相互作用会引发次同步振荡(sub-synchronous oscillation, SSO),对实际工程中的风电机组和电力系统的设备造成损坏,并给电网的
相较于传统的电动自行车插拔式(Plug-in)充电方案,谐振式无线充电(MCR-WPT)方式在恶劣环境下的表现具有更高的安全性和可靠性,并且随着无线充电方案的日益完善,其充电效率也完全不逊色于传统的充电方式,因而得到广泛关注。随着无线充电技术的发展,利用辅助线圈的多自由度实现恒压恒流充电性质得到广泛地研究。本文基于这一研究背景,提出了一套基于三线圈的电动自行车锂电池无线充电方案研究。
  首先,文中阐述了电动自行车(Electric Bike)锂电池的充电模式,并对目前采用的电动自行车无线充电方案进
随着大量分布式光伏接入配电网,光伏出力的随机性及间歇性大大增加了配电网的控制难度。由于传统配电网缺乏有效调控手段,其内部光伏功率的快速变化易导致配电网下网点功率剧烈波动,给主网调控带来了巨大挑战,同时也是当前配电网中分布式光伏就地消纳能力提升的一个瓶颈。另一方面,随着配电网相量测量单元等高级量测装置,以及智能软开关、动态电压调节器(dynamic voltage regulator,DVR)等电力电子化调控设备在配电网中的大量应用,配电网的可观性和可控性也得到了巨大的提升。因此,深度挖掘配电网内尤其是负荷
提到斯巴鲁,脑海里固有的印象告诉我,它应该是一位执着于性能的小伙。年少时,我曾是斯巴鲁品牌的忠实拥趸。“谁不曾年少轻狂过。”我相信现在的很多性能车迷都曾被拉力蓝涂装的斯巴鲁赛车深深吸引。  我想大家对斯巴鲁的认知或许有下面这几个元素:午夜、车房、山路、充满汽油味的场景。斯巴鲁满足了年轻人对于权威的蔑视,对机械的崇拜,对电子系统的不屑,以及对青葱岁月的一份追忆。斯巴鲁拥趸们对于品牌的热爱早已超越了车
期刊
在一汽一大众、北汽绅宝、铃木永驰车队看来,北京怀柔是他们理所当然的主场,在主场获胜是他们必然的追求,而最终的结果,他们都如愿以偿了。  经过三天的激烈争夺,2015北京·怀柔中国汽车拉力锦标赛于8月21日下午落下帷幕。  一汽大众车队的克里斯托弗-阿特金森/戴勒·莫斯卡凭借稳定发挥帮助车队在主场收获了全场冠军,斯巴鲁拉力车队的马克·希金斯/加洛德·戴伦和北汽绅宝拉力车队的阿里斯特-麦克雷/斯图尔特
期刊
由于保密的原因,这篇稿子已经在我计算机中等了3个多月。如今终于到可以解秘的时候了。  在大多数中国人眼里,相对于路虎,捷豹一直是一个低调的存在。不管是XJ、XE还是本文的主角XF都不例外。很难说捷豹这种状况是不是源于根深蒂固的绅士风格和各种传承多年的传统设计,至少捷豹这么多年一直是以设计为最重要的卖点,而并没有把更多的技能点分配到科技上。  现如今形势不同了,越来越年轻的目标消费群体和以往那些老人
期刊
有人把人生分为三个阶段:早晨、中午和晚上。进入40岁不惑之年的人们应该是午后的暖阳,他们承担着家庭和事业的重任,享受着成功的快乐,对外面复杂的世界有着自己睿智的认知。  对已经进入“不惑之年”的宝马3系来说,它的确已经或者正在享受着成功的喜悦:从诞生之日起,其全球累计销量超过1400万辆(包括衍生车型)。作为一个成熟的产品,它并没有被所谓的数字冲昏头脑,依然保持着那种最纯粹的状态!我的手指轻轻拨动
期刊
当《侏罗纪世界》的女主角驾驶着奔驰GLE运动SUV飞驰在她所管辖的公园中时,GLE运动SUV倾城的外表和强大的能力尽显无疑,但它是否真有此本领吗?  在此次试驾奔驰GLE运动SUV之前,《侏罗纪世界》就先跟国内的观众见了面,这个被奔驰全面植入的电影中,三叉星旗下的众多车型悉数登场,有强大的乌尼莫克,也有性能强悍的G级,当然,最吸引观众眼球的当属GLE运动SUV。  在电影中,当女主角Claire驾
期刊
在美丽的山城重庆,我开着奔驰GLE,强大的四驱系统帮助我越过了一个又—个山丘,使我发现美景尽在眼前  在美丽的重庆,我刚刚从GLE运动SUV上下来,其强大的运动性能使我折服,此时我的座驾变成了奔驰M级的小改款,奔驰GLE400,在同一命名体系下,这台GLE和刚刚试驾过的那台GLE运动SUV到底有何不同是我此行最大的疑问。  奔驰在更换了全新命名体系之后,眼前的这辆GLE也完成了小改款,全新GLE外
期刊
作为Q50车型的Coupe版本,Q60并没有在前者发布之后出现。好在在本次北美国际车展的展台上,这款Coupe车型终于出现在了我们眼前  作为Q50的Coupe版本,英菲尼迪Q60并没有能够在前者推出后不久亮相,但所有的等待都不会白费,因为在本届北美国际车展上,它终于来了!  从造型上来看,英菲尼迪Q60并没有太大改变,家族式的前脸造型以及车身线条都与Q50没有太大差别,但由于Q60采用了双门的C
期刊