【摘 要】
：
路径规划（Path Planning）作为21世纪的前沿技术,使得机器人具备可移动的能力,这也极大的丰富了机器人运用的领域。如何让机器人自主的进行路径规划已成为本领域的研究重点。本文以机器人路径规划作为研究对象,结合深度强化学习算法的自主性强与可用于连续空间等特点,分别针对前期先验知识不足、动作选择随机及动作评价标准单一问题,展开以下具体研究工作:（1）提出基于人工势场和样本池优化的DDPG算法（
论文部分内容阅读
路径规划（Path Planning）作为21世纪的前沿技术,使得机器人具备可移动的能力,这也极大的丰富了机器人运用的领域。如何让机器人自主的进行路径规划已成为本领域的研究重点。本文以机器人路径规划作为研究对象,结合深度强化学习算法的自主性强与可用于连续空间等特点,分别针对前期先验知识不足、动作选择随机及动作评价标准单一问题,展开以下具体研究工作:（1）提出基于人工势场和样本池优化的DDPG算法（DDPG based on Artificial potential field and Optimized sample pools,APOS-DDPG）,针对深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）初始阶段对所处的环境没有先验的知识,导致算法无法完成收敛或收敛缓慢等问题。在DDPG算法的基础上引入人工势场,增加算法在初始阶段的先验知识,提高算法收敛速度;通过构造新的人工势场引力函数,确保移动机器人有效的避开障碍物;对样本池进行优化,增加样本的多样性和利用率。在相同的环境模型中,将改进算法依次与DDPG和其他同类算法进行比较及分析,验证该路径规划算法的有效性。仿真结果表明,APOS-DDPG算法初始奖励值相比于其他算法较高,具有较快的收敛速度,与IDDPG算法相比最佳决策时间提升了约2.5%。（2）提出一种基于经验池分离和平均批评网络的DDPG算法（DDPG based on Experience pool split and average critic network,EPAC-DDPG）。该算法针对 Critic 网络对动作评价标准单一,难以区分最优动作和非最优动作的问题,设计平均Critic网络;根据样本的重要程度对样本池进行分割,在训练后期对样本池进行合并。在设有障碍物的环境中,将DDPG、REL-DDPG和APF-DDPG作为对比组,实验结果表明,EPAC-DDPG算法完成了路径规划的任务,与REL-DDPG和APF-DDPG相比达到最大累计奖励的回合数分别提升约3.4%和1.3%,碰撞次数分别降低了227%和1 56%左右。仿真实验结果表明,APOS-DDPG算法有效的解决了初始阶段环境先验知识不足及样本利用率低的问题。EPAC-DDPG算法在动作评价标准单一、样本池采样方式等方面具有一定的优化效果。图[30]表[5]参[73]
其他文献
图像分类是目标检测与语义分割的基础,在人脸识别、垃圾识别等现实场景中都有广泛的应用。因此在模糊图像的场景下,如何使用深度神经网络提取图像中的有用特征成为了图像分类领域中的关键问题。针对模糊图像中的语义特征不足和训练样本量少导致卷积神经网络训练时间长和分类精度较低的问题,本文对卷积神经网络的结构进行了优化和改进,提出了改进的Inception-V3模糊图像分类模型。具体研究内容如下:（1）基于卷积神
随着我国城市建设的快速发展,城市轨道在建工程规模已居世界首位。城市地铁施工穿越富水复杂工程地质地层时,地铁隧道工作面涌水、溃砂事故时有发生。液氮冻结法具有降温速度快、冻土强度高等优点,是一种适用于快速封水、加固地层抢险修复工程的工法之一。由于目前国内外对液氮冻结法设计理论与施工技术少有研究,以致在工程应用中存在较大盲目性。为此,开展液氮冻结法温度分布规律研究,对完善该工法设计理论,指导优化冻结方案
随着工业化的急速发展,工业污水和居民生活污水的随意排放,水污染相关的事件也频频出现,不但影响了自然环境,同时降低了人们饮用水的品质,人类的健康也受到了极大的挑战。因此,如何合理利用保护水资源以及如何在源头上对水污染进行监测是急需解决的重大问题。我国水污染监测经历了漫长的发展,经历了从人工采集数据分析到尚未普及的水污染监测系统。虽然水污染监测系统监测相比于人工采集数据分析减少了人力,且更加方便快捷,
我国具有十分丰富的褐煤煤层气资源,然而对褐煤煤层气渗流影响因素认识不足制约了煤层气开发。煤层气渗流能力常用渗透率表示,渗透率主要受温度、应力等因素影响,因此研究应力、温度等因素对褐煤渗透率影响特性具有重要意义。本文利用TCXS-Ⅱ型气水相渗实验设备对褐煤进行了应力与温度作用下渗透率特性变化实验,此外还考虑了氦气、氮气两种不同吸附性气体力热耦合下渗透率实验以及应力与温度作用下气水相渗实验,研究结果表
随着煤矿开采深度和硐室断面尺寸不断增大,硐室支护难度也越来越高,硐室间的相互交岔使得围岩应力场更加复杂,导致原本浅部成功运用的支护方式不能完全适用于深部硐室。论文针对硐室围岩稳定性及控制问题,以涡北矿降温机电硐室为研究背景,综合运用了实验室试验、理论分析、数值模拟、现场监测、现场工业性试验等方法,研究了深部大断面硐室围岩稳定性影响因素、不同间距下临近硐室围岩稳定性以及降温机电硐室各位置围岩位移变形
土压平衡顶管掘进机是当今非开挖技术顶管施工中一个非常重要的机械设备,可以适应地下土质复杂的工况,对地表的土层沉降影响小,因此被广泛应用。现如今大多数顶管掘进机的刀盘传动系统是由多个电机对传动主轴进行驱动,但会造成顶管掘进机内空间狭小,地下环境复杂的情况下不利于设备的故障排查。针对这一问题,本文设计了一种使用单电动机驱动的刀盘传动系统,整个系统的布局方式呈直线轴向式,可显著节约顶管掘进机内部空间。刀
辐照产生的点缺陷经过长时间的积累和演化,会对材料的微观结构造成严重影响,进而导致材料的宏观力学性能和电学性能的改变。所以研究材料的辐照损伤过程及影响因素,对指导设计抗辐照材料具有重要意义。本文通过分子动力学方法研究了 Ni基和W基浓缩固溶体合金在辐照损伤初期的级联碰撞过程及不同因素对辐照诱发点缺陷和团簇的影响,探究了 W-Ta合金辐照后的力学行为及演化机制。具体研究内容如下:（1）基于经验势分子动
矿井中煤炭的自燃发火不仅会造成巨大经济损失,而且严重威胁矿井员工的生命安全,为了防治煤的自燃,研究人员相继提出了多种防治煤炭自燃的技术,三相泡沫防灭火技术就是其中重要的一种。三相泡沫集固、液、气三种材料的防灭火性能于一体,利用不燃性固体颗粒的覆盖性,水的吸热降温性和惰性气体的窒息性来大幅度提高防灭火特性,且堆积性良好、成本低廉,被广泛应用于防治煤炭的自燃。本文通过试验,首先配制出一种新型三相泡沫发
煤矿井下的采煤和掘进工作面产生大量粉尘,特别是颗粒细微的呼吸性粉尘影响煤矿井下空气质量;由于煤矿井下空间较小,且气体流量较大,已成熟的大型地面除尘设备应用受到限制。目前,煤矿井下除尘技术主要采用湿式和干式除尘;湿式除尘采用组合式高压喷嘴,喷水雾化捕集煤粉,但使用水量较大,且增加煤矿井下空气湿度;采用滤筒或滤袋的干式除尘设备占地面积大,滤料表面粘附的煤炭粉尘不易脱落。旋转超重力场除尘是一种利用外场强
银洞沟矿110201工作面在正常生产过程中,上隅角往往出现高浓度CO,给生产过程中CO的防治工作和煤自燃标志气体的测定带来困难,对矿井安全生产工作的有序进行造成了影响。本文以银洞沟矿110201工作面为研究对象,研究该工作面CO产生和分布规律,为工作面CO的治理工作提供科学依据。首先,从查阅资料、现场调查了解银洞沟矿110201工作面具体情况,对煤自燃机理、工作面CO产生及分布规律进行了解与掌握。