论文部分内容阅读
摘要：随着经济与科学技术的不断发展，随着能源资源及生存环境的不断恶化，新能源汽车已经衍变成了目前汽车技术发展的最新趋势。混合动力汽车不仅具有良好的燃油经济性，同时还具有较长的行驶公里数，也正是因为以上两点，混合动力汽车成为了目前最主要的研究重点。对于整车控制系统来讲，其完好的能量管理策略成为了该系统的关键所在，因工况的不同，各驱动部件的工作状态以及输出转矩的分配对混合动力系统的能够使用效率造成了最直接的影响。但是，随着人工智能的普及及应用，智能化技术的先进算法已经广泛应用在了混合动力汽车能量管理中来，并成为现阶段最有研究价值的一个课题。为了进一步对混合动力汽车实现优良的性能控制，本文中就结合目前的基本状况提出了在深度强化学习的基础上的PHEV能量管理策略。
关键词：深度强化学习;混合动力;汽车能量管理
中图分类号：G4 文献标识码：A 文章编号：（2021）-15-402
在汽车工业迅猛发展的基础上，汽车为人们的生活质量和生活条件带来了非常明显的改善和提升，但是与此同时，其与为我们的生存环境及道路交通带来了较为严重的污染和损耗。在日前的汽车工业发展的迅速发展的趋势下，实现低能耗、低排放已经成为了汽车发展的主要目标。在对现有产业基础进行初步整合的基础上，混合动力汽车与电动汽车已经成为了目前解决和实现以上目标的最佳方案。
1.深度强化学习
深度强化学习的基本概念是由谷歌Deepmind于2015年提出来的，在当时的环境中，该理论主要被使用在解决围棋任务中，其在比赛中取得了非常优异的围棋成绩（深度强化学习算法逻辑图见图1）.在強化学习中，智能体主要通过神经网络来取代强化学习的Q表，将状态输送到神经网络中，并对其具体价值实施预测，之后进行输出动作。
2.PHEV能量管理问题描述
2.1基于等效油耗的瞬时优化问题
等效油耗的瞬时优化问题，就是通过等效处理，将电耗油耗处理相应的最优瞬时能耗问题。而对该问题的一般描述形式（1），如上述公式所示。该公式中，u、j分别表示为，发动机的功率，以及该公式的目标函数;而f（u）和g（u）则表示为瞬时的油耗和电耗;公式中的s和h（u）分别表示为油电损耗的折算因子，以及优化过程中转速、转矩等内容和因素的限制。而该公式及问题的理论研究基础，则主要是依托于PMP制程管控计划，也就是说通过该技术和方法论，对PHEV，也就是插电式混合动力汽车进行全局的能量管理和优化问题进行验证论述，就可以得出相应的研究结论。其中，具体结论就是，假定电池荷电状态（SOC），不会在变化的过程中，影响电池开路电压的变化时，就存在适当的s取值，也就是油电损耗折算因子值，可以使得该瞬时优化对策，能够发挥全局性能优化的作用。而该理论的研究内容，不但基于PMP制程管控计划，更是ECMS算法的可行性基础，而等效油耗时优化问题中，寻找可行的s取值，也就是寻找可行的油电损耗折算因子值，就成为了问题的优化研究重点。
2.2基于预测域优化的局部优化问题
由于PHEV拥有较大的电池容量，所以要想将能量管理策略做到最优，第一步就需要确保电池中的电量能够在不同的工况中得到均匀使用，考虑到预测控制的能够管理策略可以实现局部能力的优化，所以，因此堆积于预测域优化的PHEV能量管理问题，都会将SOC参考值中存在的偏差引入到这一目标值中，其具体的问题描述形式为（2），将式（2）离散化就可以得出（3）式中，t0代表的是起始时刻;tp代表的是预测域的总时间;p代表的是离散状态下预测域的步长;ε代表是SOC参考值与实际值差的等效系数;此项问题与其他问题类型存在很大的不同，预测域代表的是，能够依照统计方法或者只能交通信息对就近时间点的运行工况进行预测，也正是因为存在预测域，才能够将此问题是视为预测域最优化问题，并且还是局部最优问题。然而通过校正SOC值偏差，能够最大限度的确保汽车在驾驶工况下对电量的合理分配，实现局部最优化问题的特性。
3.PHEV能量管理策略研究
3.1规则式PHEV能量管理策略
PHEV提高燃油经济性的四种方式：第一，用电动制动取代传统机械制定，实现对制动能量的回收;第二，发动机通过利用怠速停机的方式，实现降低发动机怠速油耗的目的;第三，利用电机带动发动机进行启动，从而提升发动机自启动时的整体效率;第四，对发动机的工作点进行功率分配或者主动充电及转矩，从而提升发动机的工作效率及负荷率。
3.2基于PMP的能量分配策略
在最优控制理论中PMP理论是用来求解受控系统或运动过程的给定性能指标取极大或极小值的最优控制的主要方法，此方法不仅可以满足全局最优，并且还可以将计算量控制在最小范围内。尽管PMP在计算复杂度上是最小的，但是，实现实时运算却是很难实现的，然而，在对PMP进行推到分析的过程中，可以得出以下结论：在对等效系数进行适当的选取时，就可以获取与全局最优最相近的解决方式。此外，此种方法被也被称之为ECMS策略，
结论：
综上所述，本文主要对PHEV能量管理策略进行详细的分析和合理的分类，对于规则式能量管理策略来讲，其主要在线上应用的过程中就可以不用考虑优化问题，只需要按照规则将能量进行合理分配即可，所以，最终得到的结论就是传统的规则式优化策略的成效是非常差的。但是通过与其他优化策略的相互融合，使得规则式优化策略的最终参数得到了最大限度的改进和优化，并且还提取了最优的离线优化算法，虽然在应用的过程中也取得了非常显著的优化效果，但是，对于实时运算却无法实现，所以，对于PHEV能量管理策略中难以实现实时性与优化性难以并存的缺点来讲，可以通过对优化策略的合理改进，从而实现最优质的实时优化成果。
参考文献
[1]李家曦，孙友长，庞玉涵，等.基于并行深度强化学习的混合动力汽车能量管理策略优化[J].重庆理工大学学报（自然科学版），2020，34（9）：62-72.
[2]东南大学.基于机器视觉和深度学习的混合动力汽车能量管理方法：CN202011060544.9[P].2021-01-01.
[3]清华大学.智能网联混合动力汽车的鲁棒能量管理方法及系统：CN202011480953.4[P].2021-03-16.
关键词：深度强化学习;混合动力;汽车能量管理
中图分类号：G4 文献标识码：A 文章编号：（2021）-15-402
在汽车工业迅猛发展的基础上，汽车为人们的生活质量和生活条件带来了非常明显的改善和提升，但是与此同时，其与为我们的生存环境及道路交通带来了较为严重的污染和损耗。在日前的汽车工业发展的迅速发展的趋势下，实现低能耗、低排放已经成为了汽车发展的主要目标。在对现有产业基础进行初步整合的基础上，混合动力汽车与电动汽车已经成为了目前解决和实现以上目标的最佳方案。
1.深度强化学习
深度强化学习的基本概念是由谷歌Deepmind于2015年提出来的，在当时的环境中，该理论主要被使用在解决围棋任务中，其在比赛中取得了非常优异的围棋成绩（深度强化学习算法逻辑图见图1）.在強化学习中，智能体主要通过神经网络来取代强化学习的Q表，将状态输送到神经网络中，并对其具体价值实施预测，之后进行输出动作。
2.PHEV能量管理问题描述
2.1基于等效油耗的瞬时优化问题
等效油耗的瞬时优化问题，就是通过等效处理，将电耗油耗处理相应的最优瞬时能耗问题。而对该问题的一般描述形式（1），如上述公式所示。该公式中，u、j分别表示为，发动机的功率，以及该公式的目标函数;而f（u）和g（u）则表示为瞬时的油耗和电耗;公式中的s和h（u）分别表示为油电损耗的折算因子，以及优化过程中转速、转矩等内容和因素的限制。而该公式及问题的理论研究基础，则主要是依托于PMP制程管控计划，也就是说通过该技术和方法论，对PHEV，也就是插电式混合动力汽车进行全局的能量管理和优化问题进行验证论述，就可以得出相应的研究结论。其中，具体结论就是，假定电池荷电状态（SOC），不会在变化的过程中，影响电池开路电压的变化时，就存在适当的s取值，也就是油电损耗折算因子值，可以使得该瞬时优化对策，能够发挥全局性能优化的作用。而该理论的研究内容，不但基于PMP制程管控计划，更是ECMS算法的可行性基础，而等效油耗时优化问题中，寻找可行的s取值，也就是寻找可行的油电损耗折算因子值，就成为了问题的优化研究重点。
2.2基于预测域优化的局部优化问题
由于PHEV拥有较大的电池容量，所以要想将能量管理策略做到最优，第一步就需要确保电池中的电量能够在不同的工况中得到均匀使用，考虑到预测控制的能够管理策略可以实现局部能力的优化，所以，因此堆积于预测域优化的PHEV能量管理问题，都会将SOC参考值中存在的偏差引入到这一目标值中，其具体的问题描述形式为（2），将式（2）离散化就可以得出（3）式中，t0代表的是起始时刻;tp代表的是预测域的总时间;p代表的是离散状态下预测域的步长;ε代表是SOC参考值与实际值差的等效系数;此项问题与其他问题类型存在很大的不同，预测域代表的是，能够依照统计方法或者只能交通信息对就近时间点的运行工况进行预测，也正是因为存在预测域，才能够将此问题是视为预测域最优化问题，并且还是局部最优问题。然而通过校正SOC值偏差，能够最大限度的确保汽车在驾驶工况下对电量的合理分配，实现局部最优化问题的特性。
3.PHEV能量管理策略研究
3.1规则式PHEV能量管理策略
PHEV提高燃油经济性的四种方式：第一，用电动制动取代传统机械制定，实现对制动能量的回收;第二，发动机通过利用怠速停机的方式，实现降低发动机怠速油耗的目的;第三，利用电机带动发动机进行启动，从而提升发动机自启动时的整体效率;第四，对发动机的工作点进行功率分配或者主动充电及转矩，从而提升发动机的工作效率及负荷率。
3.2基于PMP的能量分配策略
在最优控制理论中PMP理论是用来求解受控系统或运动过程的给定性能指标取极大或极小值的最优控制的主要方法，此方法不仅可以满足全局最优，并且还可以将计算量控制在最小范围内。尽管PMP在计算复杂度上是最小的，但是，实现实时运算却是很难实现的，然而，在对PMP进行推到分析的过程中，可以得出以下结论：在对等效系数进行适当的选取时，就可以获取与全局最优最相近的解决方式。此外，此种方法被也被称之为ECMS策略，
结论：
综上所述，本文主要对PHEV能量管理策略进行详细的分析和合理的分类，对于规则式能量管理策略来讲，其主要在线上应用的过程中就可以不用考虑优化问题，只需要按照规则将能量进行合理分配即可，所以，最终得到的结论就是传统的规则式优化策略的成效是非常差的。但是通过与其他优化策略的相互融合，使得规则式优化策略的最终参数得到了最大限度的改进和优化，并且还提取了最优的离线优化算法，虽然在应用的过程中也取得了非常显著的优化效果，但是，对于实时运算却无法实现，所以，对于PHEV能量管理策略中难以实现实时性与优化性难以并存的缺点来讲，可以通过对优化策略的合理改进，从而实现最优质的实时优化成果。
参考文献
[1]李家曦，孙友长，庞玉涵，等.基于并行深度强化学习的混合动力汽车能量管理策略优化[J].重庆理工大学学报（自然科学版），2020，34（9）：62-72.
[2]东南大学.基于机器视觉和深度学习的混合动力汽车能量管理方法：CN202011060544.9[P].2021-01-01.
[3]清华大学.智能网联混合动力汽车的鲁棒能量管理方法及系统：CN202011480953.4[P].2021-03-16.