基于并行强化学习的发动机增压控制分析

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:wecan626
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的可变几何截面涡轮增压器(Variable Geometry Turbocharger,VGT)控制在工业应用中多采用比例微分积分控制器(Proportion Integration Differentiation,PID)。但是PID控制需要人工调节参数,且调参过程复杂,需要较长的调参周期,在完成调参以后,控制器参数不能随着驾驶工况动态改变。有学者提出利用经典强化学习算法深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)对VGT进行控制,虽然能够解决上述传统控制方法所带来的问题,但是DDPG算法中是采用单核进行计算,计算效率低,所需计算资源大。而且由于强化学习是通过与环境不断交互,逐渐学习到控制策略,这便导致算法的收敛时间慢,且在算法训练初期,智能体在环境中探索的随机性大,导致强化学习算法难以应用于现实世界中。基于以上分析,本论文提出并行强化学习算法,运用并行计算和预训练的方法,能够显著提高强化学习计算速度,并且能够减少算法训练初期的随机探索,将经典强化学习算法应用于现实世界中的方法。首先利用计算机的多核多线程资源,在经典强化学习算法单核运算基础上进行改进,实现算法的并行计算,从而能够提高强化学习计算速度。在完成并行计算以后,结合深度学习领域内的预训练方法,将PID控制得到的数据作为专家数据对并行强化学习算法中神经网络进行预训练,使得算法训练初期的随机探索减少,完成经过预训练后并行强化学习算法对VGT的控制。本论文研究内容如下:(1)建立平均值发动机仿真模型,研究详细模型与平均值模型对算法训练的影响,选取验证算法的工况,搭建用于本论文提出的算法对VGT控制的联合仿真平台,研究算法的信息在平台间的传输过程。(2)搭建并行强化学习算法框架,研究发动机中不同的信息作为强化学习的状态值对算法收敛性的影响,研究不同的神经网络架构对算法计算速度的影响,分别设置不同数量的智能体,研究并行计算所获得的累计奖励值,研究超参数的设置对算法最终的控制性能的影响,研究奖励值的设置对算法收敛性的影响。(3)根据并行强化学习算法训练结果,对比研究PID算法与并行强化学习的控制效果,对比研究预训练前后算法的控制性能。为更好的分析进气歧管内的压力变化,使得进气歧管内的压力可视化,建立三维进气歧管模型,对模型进行CFD仿真分析,研究不同的工况点在进气歧管中的压力变化。并行强化学习算法结果表明,2个智能体相对于单个智能体累计奖励值增加47.42%,收敛回合数减少50%。当设置4个智能体时,累计奖励值相对于单个智能体增加72.67%,收敛回合数减少81.5%。说明并行强化学习算法能够加速算法收敛,所获得的累计奖励值随着智能体数量的增加而增加。从压力跟随效果来看,绝对误差积分(Integral Absolute Error,IAE)相对于PID控制减少51%。,说明并行强化学习算法的控制性能更好。基于预训练的并行强化学习算法结果表明,当同时设置4个智能体时,预训练后的总奖励值相对于随机策略增加60.49%,收敛时的回合数减少29.73%,说明预训练方法能够提高累计奖励值,减少算法随机探索。从IAE的角度来看,IAE减少52.4%。说明预训练后的随机探索减少,初始性能更高,算法的收敛速度更快。本论文应用并行强化学习算法对VGT控制,将并行强化学习算法应用于发动机增压领域,实现动态的调节参数,且能够实现并行计算的目的,对传统的控制方法具有指导性意义,对扩大经典强化学习算法应用范围具有重要意义。利用预训练的方法将强化学习算法应用于现实世界中,对强化学习目前多应用仿真游戏中具有指导意义。
其他文献
由于特种车辆的用途特殊性,许多政府以及企业开始严格要求控制特种车辆的噪声和振动方面的问题。特种车辆的使用环境往往比乘用车或商用车更恶劣,驾驶室的噪声问题严重影响到驾驶人员的身心健康。特种车辆车内声品质预测的研究较少,本文针对某特种车车内噪声的声品质进行分析并建立预测模型后续进行优化研究,主要研究内容有:首先,进行了车内噪声的采集试验并对试验数据进行挑选,处理成68个可以进行主观评价试验的有效声音样
在交通事故中,多车事故是造成乘员伤亡的主要事故形态,事故车辆在外观、重量、结构和刚度等方面存在的差异,导致了车辆和乘员不同的损伤情况。不同大小车辆以相同速度碰撞时,小型车辆可能会遭受更严重的损害,这是由于前端结构的差异使两车的结构不能有效发挥作用,碰撞产生的能量不能被合理吸收,加剧了小型车乘员损伤风险。因此,如何在碰撞事故中发挥汽车结构的耐撞性来保护乘员,同时改善车辆碰撞相容性已成为汽车安全设计的
近年来,Sn-Ag-Cu(SAC)系无铅合金因具有较低的共晶温度及良好的可焊性而被广泛运用于封装行业。高银SAC无铅焊料虽然具有较好的润湿性和抗氧化性,但使用成本高,接头脆性大,抗跌落性差。然而,降低Ag含量又会使焊接温度增加,热可靠性变差。所以,在不同的服役环境下,选择一种适用性强,性能优良,可靠性好,并且价格实惠的无铅焊料变得尤为重要。随着大功率器件的逐步推广和应用,其封装体内的热流密度越来越
随着环境污染和能源危机的问题日趋严重,新能源车辆技术应运而生,混合动力汽车具有动力性好、续驶里程长及排放低等显著优势。采用行星齿轮机构的动力耦合系统混合动力汽车具有丰富的工作模式,能够适应复杂多变的工况;在车辆运行中,能够实现发动机与车轮处转速和转矩的双重解耦。由于双行星排式混合动力汽车有多个动力源耦合输入,在传动系统控制研究方面,需综合考虑发动机和电机等部件效率特性与动力耦合机构的工作特性,从而
自动驾驶因其对社会和交通的创新影响越来越受到社会的关注。凭借广泛的探测范围、准确的测量数据,激光雷达在当前自动驾驶领域被深入地研究和广泛地应用。高精度激光雷达传感器每秒钟接收数百万个点,其中一半的激光雷达点云数据从地面反射。为了保证自动驾驶汽车的实时信息处理,不能直接使用原始数据,需要进行一些预处理,通过地面点分割来去除地面点,从而大大提高后续的聚类、识别、跟踪和控制等任务的速度。本文基于激光雷达
发动机作为船舶重要的核心部件,其锻件的质量与制造水平决定着发动机的可靠性以及寿命。对锻件的形貌、尺寸进行高效、准确的三维数字化测量,对提高锻件的锻造质量和加工效率具有十分重要的意义,因此本文设计和搭建了线结构光视觉三维测量实验平台,对锻件的形貌和尺寸进行测量。大型船舶发动机锻件在线结构光视觉测量中,光条中心提取是其关键技术,直接影响到测量精度。本文采用一种基于改进的灰度重心提取算法,经系统标定后重
光波导器件广泛应用于传感、光电集成、通信、医学诊断等领域。光波导器件的响应谱包括幅值谱和相位谱,可用于分析、设计和重构光波导器件。幅值谱可利用现有的光谱分析仪进行测量,而相位对光波导器件的结构变化和噪声干扰极其敏感,相位谱的测量相对比较困难,很少有对应成熟的分析仪器。目前,相位谱可利用射频调制法、相干干涉法、脉冲扫描法等方法进行测量,但存在测量时间长、操作复杂、成本高、精度低等问题。本课题组以前提
随着图深度学习强大的特征提取能力被不断发掘,越来越多的研究者将目光投入到了这个领域。图是一种非结构化数据,它能更好地描述这个世界从而完成各项任务,在计算机视觉领域图深度学习能完成图像识别、图像分割等任务。这些任务都可以利用超像素算法作为图像预处理方法作为第一阶段的特征提取和图嵌入,此时图像数据是非结构化的数据表示,使用标准的卷积方法提取特征困难,但使用图卷积方法可以轻易地聚合信息从而更新节点。同时
随着现代汽车工业以及道路交通建设发展,我国私人汽车保有量维持较高水平,截止到2020年,保有量已达2.8亿辆;与此同时,国内交通整体形势依旧严峻,平均每年交通事故数量达20余万起,死亡人数6万余人,直接财产损伤达10多亿元,交通安全急需深入研究。就目前研究状况而言,在汽车安全领域,乘员碰撞损伤准则及乘员保护装置主要基于50百分位假人模型制定,近年来肥胖人口比例明显增加,基于标准体型的乘员损伤标准和
路面是汽车行驶时的输入,直接影响着车辆零部件使用寿命、汽车平顺性等。目前,研究路面对汽车影响的方法主要有实车试验法和仿真模拟法。汽车试验场给实车试验提供各种典型路面激励,但是其存在试验周期较长、效率较低、投入资金和人力较大等不足。仿真模拟法大多选用标准路谱或者随机道路载荷谱的方式进行仿真分析,虽然提供了路面激励,但是也存在不能反映出汽车在实际运行工况下的振动特性、仿真结果误差较大等不足。因此,本文