在家庭环境下,让机器人具备多种操作技能可以完成更多复杂的家政任务,为用户提供更好的服务体验。已有技能学习方法需要大量的训练数据,对硬件要求高,特别是不能利用已经学到的技能加速新技能的训练,训练时间长且难以收敛。为了让机器人在环境中快速地学习到不同的技能,其中的关键性问题主要有两个,一是如何对复杂的环境状态进行高效简洁的表示,二是如何在不同操作任务的技能策略之间实现知识共享。针对以上问题,本文提出了一种针对不同操作任务的快速技能学习算法,多特征(Multi-Info)网络提取到的状态高级特征作为技能策略网络的输入数据,通过在不同任务的技能策略之间共享相似状态数据达到知识共享的目的,使用改进的策略梯度强化学习算法实现操作任务的快速技能学习。具体研究内容和创新点包括:1、设计了两种状态表示学习模型的网络结构,针对不同的操作任务,首先使用随机初始化的技能策略在环境中采集状态数据集,然后训练基于自动编码器的状态表示学习模型用来提取状态的普通静态特征,接着训练满足五种先验知识的状态表示学习模型用来提取状态的高级动态特征,最后这些特征能够加速技能策略模型的训练过程,为实现快速的技能学习奠定了基础。2、提出一种带有上下文动态信息的多特征权重混合策略,结合了两种状态表示学习模型的静态与动态特征,首先在固定时间窗口内对不同模型的特征数据进行批量标准化处理,得到均匀分布的特征数据,然后在混合特征中添加机器人在环境中执行动作后得到的奖励值作为偏执项,可以增加奖励值高的状态特征的权重,减少奖励值低的状态特征的权重,最终得到的混合特征能够有效解决不同模型特征之间的权重大小问题和保留特征的上下文动态信息,使得技能策略的模型训练过程更加快速和稳定。3、提出一种在不同操作任务的技能策略之间进行高效知识共享的样本相似度计算方法,使用改进的策略梯度强化学习算法训练技能学习模型,首先训练机械臂策略模型在一个操作任务中收敛到最优策略,然后针对新的操作任务的策略模型训练,利用固定时间窗口内带有上下文信息的特征作为相似度得分的计算向量,通过在新策略模型的训练中加入旧策略产生的相似样本数据,实现知识共享的目的。综上所述,本文提出的基于多特征和状态相似度的改进策略梯度算法解决了对环境状态的高效特征提取和在不同任务的技能策略之间进行高效知识共享的问题,不仅能够实现单一的操作任务,如点击静止按钮和动态移动按钮的技能学习,而且能够在两个不同操作任务的技能策略之间实现知识共享。仿真实验结果表明本文提出的方法不仅能够加速操作任务的技能策略训练,而且可以提升策略的整体性能,与基础算法相比,取得了最高的任务成功率和平均奖励值。