【摘 要】
:
随着柔性制造系统和智能仓储系统的快速发展,自动导引车(Automated Guided Vehicle,AGV)的应用需求日益增长。AGV是一种装备有电磁学或光学等传感器的自动导航装置,能够装载货物沿规定的导航路径行驶。为了提高AGV作业效率,降低运输成本,本文针对仓储环境提出基于强化学习的AGV路径规划方法。针对单AGV路径规划,提出了一种强化学习-蚁群算法。针对蚁群算法在某些情况中的缺陷,将强
论文部分内容阅读
随着柔性制造系统和智能仓储系统的快速发展,自动导引车(Automated Guided Vehicle,AGV)的应用需求日益增长。AGV是一种装备有电磁学或光学等传感器的自动导航装置,能够装载货物沿规定的导航路径行驶。为了提高AGV作业效率,降低运输成本,本文针对仓储环境提出基于强化学习的AGV路径规划方法。针对单AGV路径规划,提出了一种强化学习-蚁群算法。针对蚁群算法在某些情况中的缺陷,将强化学习的思想加入蚁群算法中。本算法的贡献包括:首先,在蚁群算法状态转移公式中加入Q值作为影响因素,提高最优路径节点的选择概率;其次,对一些较差节点进行惩罚,避免蚂蚁选择较差路径;最后,将每代蚂蚁中的路径长度和累积回报综合最优局部路径进行融合,并加强该路径信息素,提升了对最优路径的探索能力。通过与改进之前的蚁群算法的仿真实验对比,验证了所提方法的有效性。针对多AGV路径规划,使用多智能体强化学习进行多AGV协作优化,提出了一种面向合作任务的多智能体强化学习算法——WRFMR(Weighted Relative Frequency of obtaining the Maximal Reward)算法。主要贡献为:第一,WRFMR算法要求每个智能体估计有关自己动作的Q函数,无需估计联合动作的Q函数,缓解了联合动作空间指数增长的问题;第二,该算法利用加权参数和动作概率平衡探索和利用,以加速收敛到最优联合动作,同时还使用一种迭代的方式估计最大累积回报出现的频率,降低了算法的空间复杂度。本文对WRFMR在合作重复博弈中的学习过程建立了数学模型,并研究了此模型的动力学特性,得到如下结论:如果每个最优联合动作的组成动作都是唯一的,那么每个最优联合动作都是渐近稳定的平衡点。本文在两个多智能体协作任务——推箱子任务和DSN任务上将WRFMR算法与其它MARL算法进行对比,验证了WRFMR算法的可行性。最后,本文研究并搭建了多AGV仓储仿真环境,在此环境上将WRFMR算法与其他MARL算法进行对比,结果显示WRFMR算法在多AGV仓储系统中有着的良好表现。此外,本文使用Flexsim对学习到的策略进行可视化,进一步验证了WRFMR算法的有效性。
其他文献
随着计算机和信息技术的迅速发展,关系数据库的应用越来越广泛,关系数据的安全和版权保护问题也日益受到重视。关系数据库水印作为版权保护的一种重要手段,在不破坏数据本身的可用性的情况下,要求能在数据中嵌入证明版权所属关系的重要信息,并且在遭受恶意攻击以后,仍能以一定的比例检测到水印信息的存在,从而起到版权保护的作用。因此,关系数据库水印研究在实际应用中具有较高的价值和研究意义,近年来也成为当前研究热点之
热阻是物体对热量传递有阻碍作用的物理量,其定义方式与电阻类似,为热阻两侧温度差与流过热流的比值,与传热系数互为倒数。可通过减小热阻加强传热,也可增大热阻削弱传热,可直接影响内部温度,因此对可变热阻的调控在实际应用中尤为重要,被广泛应用于温度控制、建筑、精密仪器等。半导体热电效应主要为帕尔贴效应和塞贝克效应,能够实现热能和电能之间的相互转化,通过控制热流实现变热阻控制。相较于其他形式的变热阻,半导体
互联网的高度普及,使得信息安全得到广泛关注。信息隐藏技术是信息安全范畴内的一大分支,在保密通信和产权保护方面,得到了广泛研究与应用。社交网络的迅速发展极大方便了人们的生活,众多的社交软件和短视频自媒体平台为信息隐藏提供了新的载体可能。本文进行了基于社交网络和短视频平台的信息隐藏研究工作,主要研究内容如下:(1)提出了一种基于网络社交行为的生成式信息隐藏方法。目前基于社交行为的信息隐藏方法都只利用单
目前文本隐写方法可以分为修改载体法和无载体法。由于文字本身的编码冗余度很小,对文本很轻微的改变都有可能被人或机器检测出来,因此修改载体法隐藏容量较小,安全性较差。无载体隐写可以分为生成法和检索法。其中,生成法的载密文本是根据传递的秘密消息借助于自然语言处理技术生成的。虽然自然语言生成技术已有很大进步,但在生成较长文本时仍存在可读性差的问题,很容易被人识别出来。而检索式无载体方法通过建立映射关系,找
随着电气化的飞速发展,伺服系统已经从早期的液压伺服系统过渡到当前的电机伺服系统。伺服系统作为运动控制系统执行机构的核心部分,其性能是整个控制系统性能的重要衡量指标。以工业机器人为例,工业机器人在搬运、焊接、激光切割、喷涂等应用场景中具有高精度位置控制、负载时变、启停频繁且响应快速等特点,这就需要机器人关节处永磁同步电机同时具有高精度、快速响应和更强的抗干扰能力。近些年随着智慧工业的发展,为了简化系
永磁同步电机(Permanent magnet synchronous motor,PMSM)因具备制造成本低、结构简单等优越性而被广泛应用于各个领域中,所以对于PMSM驱动系统的控制算法有了更高的要求。为了保证PMSM具备良好的动态与稳态性能,分别从动态控制和稳态控制的角度出发设计出不同的控制器,并将这些控制器利用协调控制策略协同起来,达到了PMSM驱动系统的高性能要求。论文主要内容为:(1)研
多容水箱系统具有多变量、强耦合、高非线性和复杂度高的特性,是非线性控制理论应用的重要领域之一。这些特性都会影响控制系统的稳定性,而且多容水箱系统受未知扰动和参数的不确定性影响较大,使得控制任务更加复杂,多变量的精确控制也非常困难。因此,解决多容水箱系统的扰动抑制和多变量控制中的问题对于工业生产具有重要指导意义。(1)采用了一种基于扰动观测器的积分反步控制策略处理双容水箱系统存在的扰动影响。首先,为
聚类算法是数据挖掘的主要任务之一,其主要用于发现数据库中未知的对象类别。子空间聚类作为目前主流的聚类分析算法,被广泛运用于计算机视觉、人工智能、网络分析和模式识别等领域。目前关于子空间聚类算法的研究成果繁多,其中基于谱聚类的子空间聚类算法具有显著的聚类效果。在聚类分析的应用领域中,高维数据普遍存在,尤其是面向二维数据的(即一个样本为一个矩阵)算法研究十分匮乏。对于二维数据来说,现有的子空间聚类方法
随着计算机技术的发展,计算机视觉系统已广泛应用于众多的科学、工程以及军事等领域,然而,在雾、霾等恶劣的天气条件下,获取到的图像往往视觉质量不佳,这将对许多户外计算机视觉应用产生不利影响。因此,图像去雾变得至关重要,是目前计算机视觉领域广泛研究的一个重要内容。针对暗原色先验理论在去雾过程中存在的部分图像边缘模糊、纹理细节丢失、且图像噪声扩大的不足,本文提出了两种不同的图像去雾算法:(1)考虑到变分模
由于全球气候变暖导致干旱发生的频率增加,干旱目前已成为全世界关注的重点问题之一,对干旱进行监测,可以减少因干旱导致的灾害。因此选择一个合适的干旱指标精准监测山东省的干旱情况,进而提高对旱情的预报与监测水平,对山东省的发展有重要的意义。本研究以山东省为研究区,主要研究山东地区2001-2017年气象干旱以及农业干旱,以期为监测山东省长时间序列的干旱旱情提供参考。本文主要研究的内容有以下三点:(1)基