为应对日趋严重的能源和环境危机,各国都在致力于开发高效清洁的新能源汽车。插电式混合动力汽车（Plug-in Hybrid Electric Vehicles,PHEV）可以从电网直接吸收电能,同时克服了纯电动汽车续航里程短以及传统汽车燃油消耗高的缺陷,被认为是当前极具发展潜力的新能源汽车。PHEV具有发动机和电机两种动力源,为了协调各动力源工作,设计一个合理且高效的能量管理策略具有非常重要的意义。另一方面,作为PHEV主要驱动电源的动力电池无法兼具高比能量和高比功率的需求,而超级电容具有高功率密度的特点,可与电池组成复合储能系统作为动力源,从而提升车辆动力性能。本文以单轴并联型PHEV为研究对象,分别从能量管理策略、复合式储能系统设计以及动力系统参数多目标优化问题三方面进行了研究,主要研究内容如下:针对PHEV能量管理问题,提出一种基于改进深度强化学习的能量管理策略。通过引入双重回放缓冲区改进深度强化学习中的双延迟深度确定性策略梯度（TD3）算法,提出DRB-TD3算法以提升原算法的采样效率。设计了基于规则的约束控制器并嵌入到深度强化学习结构中,以消除不合理的转矩分配。研究结果表明DRB-TD3算法有效的提升了收敛效率,所提出的基于改进深度强化学习算法的PHEV能量管理策略在性能鲁棒性、发动机平均效率、燃油经济性等方面均优于基于传统深度强化学习算法的策略,更有利于PHEV的实际应用。针对PHEV单一动力电池低比功率,无法响应暂态功率需求的问题,设计了一种电池和超级电容并联的复合储能系统。同时针对采用动态规划法优化复合储能系统负载电流分配时缺乏实时性的问题,利用不同驱动工况下动态规划优化的结果构成训练集进行训练,并综合GRU网络以及XGBoost算法,提出了一种Stacking集成学习框架下多模型融合的能量管理策略。研究结果表明,基于Stacking融合模型的实时能量管理系统优化性能最佳,模型预测精度最高,能紧跟随动态规划离线优化结果,具有良好的负载电流分流效果。同时本文所设计的复合储能实时能量控制系统能有效的削弱电池峰值电流,有助于延长电池的使用寿命。针对带有复合储能系统的PHEV动力系统参数优化问题,提出了一种基于多目标蜻蜓算法（MODA）的多目标参数优化方法。针对复合储能系统,提出了带有滑动窗口的实时小波功率分配策略,并对滑动窗口长度进行了选择。制定了基于规则的车辆控制策略,以整车燃油消耗量和污染物排放量为优化目标,采用MODA对PHEV动力系统控制参数进行优化。研究结果表明利用MODA优化后的车辆有效的降低了油耗,减少了污染物排放,相比于优化前,发动机输出功率减少,电机输出功率增加,发动机和电机的工作效率均得到了显著的提升,同时得到的多组Pareto最优解,为整车设计和优化提供了更多的选择。