基于强化学习的汽车漂移控制研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:samhsa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自动驾驶技术在量产车上的应用越来越多,让自动驾驶技术覆盖更多驾驶场景成为了技术研究的重点。在汽车发生侧滑的危险场景下,往往需要车辆快速改变行驶轨迹来避免事故或者减轻事故带来的损失。这一极限工况可以参考目前拉力赛或者漂移赛驾驶技巧中的“漂移”。驾驶员让后轮进入侧滑状态有以下几点优势:汽车能够更迅速地改变行驶方向;在同样的过弯速度下,抓地跑法对地面附着的要求更高,漂移跑法可以适应快速变化的地面附着。如果能够按照漂移车手的驾驶风格设计控制算法,实现在这一极限工况下的车辆自主智能控制,在不减速的情况下利用漂移时所产生的动态特性,实现高循迹性过弯,将有助于提高汽车的稳定性边界,提高驾驶安全性和车辆性能。本文依托国家重点研发计划“整车智能化控制及性能提升技术”(编号2018YFB0106203),以自主驾驶汽车为研究对象,主要研究了汽车漂移行驶的路径追踪控制算法,并设计了仿真试验对算法进行了验证与评价。本文的主要工作内容有以下几点:(1)基于轮速控制设计漂移控制器并完成仿真试验。分别对三自由度单轨车辆模型与四轮车辆模型的漂移平衡进行了建模,分析了不同质心侧偏角情况下的系统状态变量变化情况。三自由度单轨车辆模型可以准确的还原车辆在漂移控制时的系统状态,确立了采用三自由度单轨车辆模型进行漂移研究的技术路线。之后在第三章对三自由度单轨车辆模型进行了平衡态分析,基于横摆角速度-质心侧偏角分析了在车速稳定的前提下,不同前轮转角情况下的系统漂移平衡点性质,也分析了平衡点附近系统状态的变化情况。基于三自由度单轨车辆模型的漂移平衡点分析,采用一阶反馈控制设计了漂移控制器,采用预瞄误差和质心侧偏角作为控制目标,并在后轮侧向力控制上加入了轮速控制。在仿真软件中设计了仿真试验场景,在定圆漂移场景验证反馈控制器的可行性。仿真试验结果表明,本文采用的基于轮速控制的漂移控制器能够准确地完成定圆漂移任务的循迹行驶任务。(2)基于人工经验演示建立深度确定性策略梯度网络,设计了通过强化学习训练的汽车“8”字漂移运动控制算法。为了避免训练前期的探索效率较低的问题采用了专家演示的方式,提高了模型训练前期的训练速度。基于对三自由度单轨车辆模型的研究,建立了基于横向误差、纵向速度、质心侧偏角与横摆角速度的联合奖励函数。通过对训练损失值和最终训练回合的状态变量分析,验证了强化学习算法在漂移平衡点切换的“8”字漂移工况能够准确地实现运动控制。“8”字漂移作为漂移驾驶的基础动作,基于平衡点定圆控制和“8”字漂移可以将循迹控制扩展到平面上的各种复杂轨迹。以此为基础,可以在后续的研究中完成平面内各种复杂轨迹的循迹,最终实现全程侧滑的自动驾驶控制。(3)基于最大相轨迹恢复边界设计强化学习奖励函数,获得了更好的“8”字漂移控制效果。在前一部分的测试结果的基础上,分析了漂移平衡点切换时的质心侧偏角-横摆角速度变化关系。根据不同状态下的状态变量切向量空间,将质心侧偏角-横摆角速度相平面进行了分区,对各个分区的稳定性进行分析。通过每个相平面区域的状态变量切向量空间的分布情况,区分了安全的相轨迹与危险相轨迹。不同的相轨迹确定了最大恢复相轨迹恢复边界,根据相轨迹恢复边界定义了新的强化学习奖励函数。新的强化学习奖励函数帮助提高了模型收敛速度,并且在训练完成后的效果较未添加最大相轨迹恢复边界的训练效果有了明显的提升。
其他文献
朝鲜族文化中,传统体育文化历史悠久、底蕴深厚,是中国朝鲜族人民劳动的智慧结晶,并且首批国家非物质文化遗产名录就将朝鲜族秋千、跳板收录其中。朝鲜族秋千、跳板是中国朝鲜族聚居地中独具民族特色,深受民众喜爱的民间传统体育项目,然而随着时代的发展,社会环境的改变,朝鲜族秋千、跳板受此影响产生变迁,朝鲜族传统文化正面临着逐渐淡化的局面。因此,对该民族秋千、跳板运动的文化变迁历程与多样化社会传承表达进行深层次
高等物理化学实验是我校理科化学专业学生的必修课,催化剂的制备与表征是其中不可或缺的部分。本实验是对高等物理化学教学实验“NH3-TPD法分析材料的酸性质”及“催化剂活性及选择性的测定”的改进,改进后方案将原实验方案中考察单一催化剂上反应物在不同反应温度和反应时间下的转化率和选择性,更改为具有不同孔道结构和酸量的三种催化剂在同一反应条件下的催化性能对照,同时结合仪器分析实验“N2物理吸附”等相关化学
目的 探讨骨水泥注入中空侧孔椎弓根钉内固定治疗伴有骨质疏松症的腰椎滑脱的临床疗效。方法 采用骨水泥注入中空侧孔椎弓根钉内固定治疗15例伴有骨质疏松症的腰椎滑脱患者。记录手术时间、术中出血量、住院时间、骨水泥注入量、并发症发生情况、植骨融合情况。比较手术前后腰椎骨密度、疼痛VAS评分。结果 患者均获得随访,时间13~36(19.8±6.3)个月。手术时间105~170(140.6±17.3) min
自2002年3月发射起,由德国和美国联合研制的重力恢复与气候实验卫星提供高精度和高时空分辨率的地球重力场,为定量研究地球表面质量重分布,特别是水储量变化提供新途径,在全球水文环境变化研究中被广泛应用。东北三省作为我国重要的农业、工业生产基地,开展针对该地区水储量变化的监测和分析工作对实现水资源可持续利用与社会经济发展具有重要现实意义。本文详细阐述了利用GRACE时变重力场数据反演陆地水储量变化基本
近年来,新能源汽车得到大力推广,而横亘在新能源汽车发展道路上的最大障碍就是续驶里程问题,要解决续驶里程问题需要从多方面入手,再生制动便是解决这一问题的不二之选,而再生制动势必会改变车辆原有的制动力分配特性与制动性能,许多高校和企业的科研人员纷纷针对再生制动控制进行相关研究,由于协调式再生制动能够实现较高的能量回收率,目前再生制动主流研究方向为协调式再生制动,而协调式再生制动需要对制动力进行重新分配
随着遥感技术的应用领域越来越广泛,对高分辨率遥感影像的需求也日益增加。因此,如何获取高质量高分辨率的遥感影像成为研究的热点问题,传统方法是将全色图像中的高频空间信息用特定算法提取,以叠加或替换某一分量的方式弥补多光谱数据分辨率不足的问题。然而传统方法提取特征的算法较为固定,易出现光谱或空间畸变。近年来,随着机器学习方法逐渐兴起,以卷积神经网络为代表,展现出强大的复杂数据处理能力和特征提取的潜力,为
井间电磁波CT成像是高效探测地下介质电磁特性的地球物理方法,它的探测深度大、范围广、分辨率高,主要应用于岩土工程以及煤炭、油气和金属矿产等资源的勘探开发。其主要是通过对电磁波反演来精确地界定地下目标体的属性(如吸收系数和电导率),最终得到两个钻孔之间的高分辨率地质剖面图像,并由此来判断地下目标体的位置与形态。本文在简单介绍了井间电磁波图像重建技术的基础理论—Radon变换和Radon逆变换的基础上
大麻种植历史悠久,作为重要经济作物既可用于食品和纺织,又可入药。该文对工业大麻和毒品大麻进行讨论,根据不同时期大麻的管理政策特点,将大麻发展分为3个阶段,并分析在政策的影响下导致育种和种植目标的变化,同时结合我国工业大麻育种情况进行综合分析。由于我国地域辽阔,南北方地区农业种植环境、经济发展和社会差异较大,形成云南省以花叶用、黑龙江省以纤维用、山西省以籽用为主的局面,大麻新品种的培育也多以纤维用、
国际上关于车辆稳定性控制的研究已经有很长时间的历史,从上世纪80年代的制动防抱死系统(ABS)到现在已经普遍应用的电子稳定控制系统(ESP),车辆稳定性控制技术已经成熟地应用于量产汽车,然而国内关于提高车辆过弯能力的弯道辅助技术以及针对低附路面的弯道极限工况稳定性控制方面的研究相对较少。本文提出一种能够自动识别入弯出弯工况并进行纵向力调节的弯道辅助控制策略以改善车辆过弯时的转向特性,并且综合考虑车
现今纯电动汽车发展迅猛,热管理系统作为纯电动汽车的重要组成部分,一方面使得电机、电池等关键零部件工作在合适的温度范围内,保证安全性和使用寿命;另一方面满足乘员舱制热、制冷、除霜、除雾等舒适性需求,此外尽可能减小热管理能量的消耗,使能量合理利用以提升续驶里程,保证节能性。纯电动汽车集成式热管理技术成为当前的节能应用趋势,结合热泵技术及电机余热利用成为提升低温续驶里程的研究热点。本文以课题组某纯电动热