还原电力商品属性,建设完善电力市场化交易机制,是新一轮电力体制改革的重点任务之一。2016年以来,各省份电力交易中心陆续组建,中长期电力市场交易已在广东、湖南、云南等地区组织开展,市场规模不断扩大。同时,人工智能技术快速发展,已成为社会经济发展的新引擎。2017年5月,Alpha Go战胜人类围棋冠军,标志人工智能技术的新突破,其核心算法强化学习得到广泛关注,已成为研究和应用的前沿热点。强化学习具有自我认知和主动学习能力,能够解决游戏博弈等交互性和决策性问题。电力市场涉及多主体复杂的竞争合作关系和市场行为,强化学习能够有效解决电力市场的博弈问题,一方面保障发电商市场交易的合理利益,实现智能报价决策,另一方面实现电力交易中心的有效市场监管,提升市场效率,优化资源配置。本论文立足于电力市场持续建设和人工智能快速发展的背景,将强化学习应用于中长期电力市场发电商报价策略研究。首先,分析电力市场发电商报价和强化学习的国内外研究现状,总结目前传统发电商报价方法和强化学习的特点,提出本论文主要研究框架;其次,从一级市场、二级市场和不平衡市场提出中长期电力市场结构体系,分析中长期电力市场交易组织和月度集中竞价交易流程;接着,提出强化学习基本框架“马尔可夫决策过程”,总结基于值函数、策略梯度和Actor-Critic的强化学习方法原理和算法流程,分析不同方法和特点和适用性;然后,构建发电商Actor策略网络和Critic价值网络模型、集中竞价交易出清模型和基于A3C算法的发电商报价模型,提出中长期电力市场发电商报价模型总体结构;最后,设置中长期电力市场仿真基础参数,开展单一 Agent和多Agent中长期电力市场仿真,根据仿真结果分析发电商报价策略和市场运营状况。结果表明,在中长期电力市场下,发电商更倾向于物理持留,发电商市场力越大,物理持留概率越大,电价偏离度越接近于0,持留电量比例越大。当低成本发电商持留较大电量时,将提高市场出清电价,损害市场效率。电力交易中心应重点关注对市场力较大、发电成本较低发电商物理持留的监管和惩罚。