基于连续空间强化学习的类人纵向速度规划控制研究

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:aihechashui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能交通系统的发展,具有高度自动化水平的智能驾驶系统引起了公众和研究机构的持续关注,并取得长足的发展与进步。然而,在需要考虑乘客舒适性、驾驶平顺性等多种因素的复杂工况下,传统智能驾驶系统的运动规划模块自适应性较差,很难满足自动驾驶的实时性需求,从而降低行车效率,影响驾驶安全,但有经验的驾驶员可以凭借经验和直觉适应不同的驾驶环境,完成复杂工况下的驾驶任务,而不需要预先进行复杂的车辆动力学和运动规划计算。本课题基于传统智能驾驶系统现有框架,对其进行调整改进,将驾驶员的行为和经验纳入智能驾驶系统中,针对纵向速度的规划和控制问题,提出了一个可以在线学习人类驾驶员驾驶行为并实现类人驾驶的新型学习系统。该类人驾驶学习系统包含了两个主要模块:人类驾驶策略学习模块和纵向速度控制模块。针对纵向速度规划控制问题,人类驾驶策略学习模块通过在线学习人类驾驶员的行车数据,生成符合该驾驶员行为的纵向期望速度;纵向速度控制模块通过PID控制器将学习到的纵向期望速度转换为油门和制动踏板控制量完成车辆的运动控制。针对具有连续状态和动作空间的纵向速度规划控制问题,本课题采用连续空间强化学习方法Neural Q Learning(NQL)来实现人类驾驶策略的学习。NQL结合了人工神经网络和Q Learning算法,能够对价值函数进行泛化和逼近,从而克服了传统离散强化学习的“维度灾难”问题,因此更适用于连续的状态和动作空间。本课题利用Prescan与Matlab/Simulink软件搭建了联合仿真平台,并结合仿真和实车试验平台,针对不同的驾驶场景对所开发的学习系统进行了测试和对比试验。试验结果如下:(1)通过定距离跟驰仿真试验,表明了NQL方法可用于纵向速度规划控制问题;(2)通过在多种场景下的仿真试验,表明该学习系统可以在一定误差范围内完成在线类人驾驶,但随着场景复杂度增加该系统的学习能力有所下降。当学习优秀驾驶员数据时,该学习系统的乘车舒适性与行驶平顺性优于传统自适应巡航(Adaptive cruise control,ACC)系统,为个性化辅助驾驶提供了研究思路;(3)通过实车试验进一步验证了该学习系统的可行性,但实车数据较仿真数据更为复杂多变,学习系统的学习性能有所下降。
其他文献
【正】一、记账凭证空行划线注销方法记账凭证空行划线注销不规范做法常见于通用记账凭证和转账凭证中。由于这两种记账凭证均有借方金额和贷方金额两栏,在空行划两条斜线(左
【正】水果含有丰富的维生素和其他微量元素,能够提供人体必须的营养物质。常吃水果,除了能品尝美味之外,还能获健康,养季防病。过度用脑——香蕉过度用脑会导致人体内维生素
目的对柴胡桂枝汤配合刺血法治疗坐骨神经痛作初步的临床观察,并对临床疗效做出客观评价,以期为临床治疗本病提供新思路。方法把符合纳入标准的坐骨神经痛患者60例随机分为治
居家过日子,谁家都免不了会遇到手头拮据的情况,而恰恰这时自己手中持有的定期储蓄存单还未到期。此刻,多数人往往不愿向别人借款落人情债,而选择提前支取定期储蓄存单以解燃眉之
随着现代城市化进程脚步的加快,使得人们对物质提出更高要求的同时,也在很大程度上促进了旅游业的发展,从而推动酒店业的繁荣。在多元文化的背景下,酒店类型不断推陈出新,它是现代城市文化的缩影,人们对酒店品质和服务的感受决定着人们对城市的印象,酒店的特色也显得尤为重要。人们常常通过赋予酒店某种特定的文化定义和主题内涵来凸显它的特点,但在当今开放的大环境下,不断涌入的新事物给酒店带来新的冲击力和吸引力使酒店
为了深入分析直驱风机的故障特征,提出了直驱风机的网侧变流器简化模型和含卸荷电路的控制器外特性模型。网侧变流器是一个控制作用下的电能平衡系统,主要研究元件的功能和外
子女教育,养老,住房是当前人们面临的新“三座大山”,只要3份基金定投就可实现快乐理财快乐生活的目标。就拿子女教育来说吧。望子成龙,望女成风,是每一个为人父母者的心愿。然而,
本文在本征激励方向图分析方法的基础上提出本征激励方向图的去耦分析方法,该方法将包含互耦的圆形阵列方向图综合问题转化为我互耦的圆形阵列方向图综合问题,从而将传统的不考
卫星接收机1、卫星接收机简介IRD(Intergrated Receiver Decoder)是指综合解码器,俗称卫星接收机,它有模拟接收机和数字接收机两种.模拟接收机主要由高频调谐器、中放、限幅
项目管理的核心内容之一就是项目进度控制,项目进度控制能力高低程度会直接影响项目预期设定的目标的实现,并且与项目直接的经济效益相联系。如何消除规避潜在的风险,科学合理的优化项目进度是一个项目成功是否的关键。在项目完成前期策划后,项目实际进度会受到外界因素不断的影响,如何把国内外各位专家的针对项目进度管理相关理论应用到实际的工程项目中是一项值得探讨的课题。正文以国内石油石化企业环境保护治理项目为背景,