基于虚拟遗憾最小化算法的非完备信息机器博弈研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zy1848
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从上世纪40年代起,图灵、香农等计算科学的先驱在国际象棋机器博弈上的探索,到近年来,深蓝、AlphaGo引发的全民关注,机器博弈一直以来都是验证计算理论与人工智能理论的试金石。非完备信息博弈指参与人对某些博弈信息不可知,相比于完备信息博弈,无疑增加了研究的复杂性。研究非完备信息机器博弈产生的成果,可以应用到广泛的领域中,如军事博弈、商业竞争、金融调控等。德州扑克是风靡全球的扑克游戏,被认为是非常战略性的,包含非完备信息、随机事件、部分信息可观测等非完备信息博弈特性,成为人工智能研究的试验台。2015年加拿大Bowling等科学家提出改进的虚拟遗憾最小化算法(Counterfactual Regret Minimization,CFR)解决了两人限制性德州扑克博弈问题,是非完备信息机器博弈领域的里程碑。但CFR算法还存在两个问题,一为CFR算法是一种离线自训练算法,无法在实际博弈中计算。二为CFR算法仅保证在两人零和博弈中计算出近似纳什均衡策略,是否适用于多人博弈还是一个未知数。本文针对以上两个问题,开展了在线CFR算法和CFR算法应用在多人博弈中的研究。针对CFR不适用于实时场景的问题,提出一种在线CFR算法。对CFR算法的流程、计算等进行深入研究,分析原始CFR算法的计算和迭代过程,对比离线与在线的区别,用统计的方法估计对手的策略,得到CFR在线更新策略所需的虚拟遗憾值。实现的智能体在2016年世界计算机扑克博弈大赛(Annual Computer Poker Competition,ACPC)的两人非限制性德州扑克项目中获得第八名。针对CFR算法仅限于在两人零和博弈中应用的问题,提出CFR算法应用在三人Kuhn扑克中的解决方案。通过剖析CFR算法在两人零和博弈中收敛到近似纳什均衡策略的证明,给出CFR算法在3人零和博弈中收敛到近似纳什均衡策略的证明。通过分析博弈论中纳什均衡概念与极大极小定理在两人博弈与多人博弈的区别,提出CFR算法应用在三人博弈中的解决方案,即使用原始CFR算法离线计算近似纳什均衡策略后,在对弈过程中应用在线CFR算法根据对手动作实时对离线策略进行更改,以便于更好的利用对手弱点,增加己方收益。实现的智能体在ACPC平台上进行了实验,验证了算法的有效性。
其他文献
智障是永久的缺陷,既不是疾病,又不是精神病,不是药物可以治愈的。智障儿童由于先天或出生后早期大脑损伤,造成智力缺陷,导致在生理上和心理上都存在各种障碍。智障儿童智商
为了了解和解决维持性血液透析患者的心理问题,以提高其生活质量。笔者回顾分析本科121例维持性血液透析患者普遍存在的心理问题,实施针对性的心理护理。通过及时发现患者的
随着我国经济的快速发展,教育制度在不断变革和发展,培养德、智、体、美全面发展的人才成为当今主要的教育教学目标,对插画在小学美术教学中的应用做了分析,表现了插画对美术
目的使用地理信息系统(GIS)数据平台,分析青海省鼠疫流行病学特征及流行态势,为制定防治对策提供依据。方法利用青海省鼠疫防治CIS的空间分析功能,对1954-2017年青海省鼠疫疫
文化遗产是旅游的珍贵资源,在旅游规划中既要做好保护文化遗产又要发展旅游经济。因此,本文探讨了如何架起沟通文化遗产保护与旅游开发的桥梁,使文化遗产保护与旅游发展获得
乡村治理法治化是善治视域下我国实行全面依法治国战略的必然要求和重要内容,乡村治理法治化是实现乡村振兴战略的重要环节,乡村治理法治化是提升人民幸福生活的必然路径。乡村治理问题既是理论发展问题,又是治理实践问题,因而乡村治理法治化路径研究既具有实践意义又具有理论意义。20世纪90年代,现代治理理论逐渐兴起,公共治理引起国内学者的广泛关注,也推动了我国乡村治理理论的丰富发展。善治使乡村由传统型向现代型转
随着我国网络化环境不断成熟,将信息技术应用于财政管理系统是信息化时代的必然要求。山东省作为全国率先构建基层数字管理系统的省份之一,研究其财政管理系统应用现状非常具
对煤乙二醇生产装置中乙二醇精馏工段的脱醇塔再沸器设计进行了探讨。运用AspenPlus软件对换热器进行模拟计算,得到乙二醇、1,2-丁二醇、四甘醇等混合醇溶液的物性数据;将数据导
舞台美术在舞台表演中扮演着一个十分重要的角色,而色彩的运用贯穿于整个舞台美术设计,直接影响到舞台演出的效果,它是成功塑造预期舞台形象、激起观众情感共鸣的决定性因素
自2013年1月开始实施的新《事业单位会计制度》,适应财政改革需要充实了相关规定,创新引入固定资产折旧和无形资产摊销,将基建数据并入会计"大账",着力加强对财政投入资金的