数据驱动下的强化学习已经得到迅猛的发展,特别是在一些能生成大量样本数据的场景中,甚至达到超人类水平（如,围棋、雅达利游戏）。但这些成果都只是某一智能体于特定任务的表现。智能体表现出的对数据的贪婪性和对任务间较差的泛化性,是现今人工智能技术发展的主要瓶颈。小样本强化学习以加快学习进程、降低样本复杂度为目的,使强化学习能在采样困难、昂贵的场景中加以推广。在方法论上,小样本强化学习主要通过泛化经验中的知识,并使之能被当前任务利用。从认知过程的规律出发,在单个任务和一对一的双任务知识泛化上,重用先前的任务样本（过程性知识）就能获得很高的学习效率,但该方法主要适应于相似的任务间;对于多任务的泛化问题,由于任务集中存在较为复杂的相似关系,通常需要舍弃样本中反映的专有知识,转而通过共享同一个学习参数（陈述性知识）来增强学习效率,但其学习能力也随着任务间相似性的弱化而退步;此时平衡利用和探索,并强加对探索的引导,将提供更有效的方案。因此,本文主要针对样本重用、参数共享来讨论如何高效利用知识,并于其后,通过研究利用与探索的平衡问题来解决更为困难的小样本场景。研究包括以下三个部分:（1）基于精确Q的样本重用的算法研究。主要针对单个任务中大规模重用样本困难与基于Q学习的算法容易出现过估计导致收敛速度降低的问题,以线性函数近似中动作值更新规则为关键,通过将参数更新规则分解、调整,使之在一步更新中最大化利用“同类样本”,缓解对动作值的过估计、增加学习效率、降低算法样本复杂度。具体地,该算法首先将参数更新分解为三个不同的部分,同时给出了每个部分独立的更新规则;随后对存在最大化偏差的那一项,使用精确Q学习中重新估计的方法,根据当前值函数的估计,替换之前对当前后继状态的估计;进而独立更新三个部分后,将其累加得到当前的参数更新结果。（2）基于多层元的参数共享的算法研究。主要针对多任务中元学习方法训练的共享参数,对任务集中任务相似度要求较高,从而导致对于存在个别“孤立任务”的任务集反映出较差适应性的问题。该算法通过设计一个多参数、双层结构的元学习框架,循环任务聚类、元学习、再适应这些过程,将来自下游不同类别任务的知识传递至顶层的共享参数中,使之体现出对任务集较强的鲁棒性,缓解了负适应现象,有效节省了样本需求。具体地,提出一种根据参数距离计算任务相似性的方式,经过聚类将已知任务分为多个类别;在每个类别中分别使用元学习训练该类中共享参数（类参数）,并将次过程看成一个学习任务,基于这些任务再次使用元学习生成一个共享参数（元参数）;在适应新任务时,根据元参数的更新趋势判定任务类别,重置当前参数为该类别对应的类参数（再适应）。（3）基于鼓励熵的探索引导的算法研究。主要针对在差异性较大的任务间泛化知识时容易因过分依赖经验而导致较差的学习效果的问题。该算法通过定义一种既能鼓励策略探索、又能在加入奖赏后保持最优策略不变的鼓励熵,并在任务间迁移这种鼓励熵,在将其加入当前任务的奖赏后,使之能够引导探索,加快学习进程,更好地降低样本量。具体地,通过对在奖赏中加入策略熵生成鼓励探索策略的方法进行分析,提出其可能偏离原问题最优策略的现象;定义一种保证策略不变性的鼓励熵;根据先前策略的倾向,计算对应随机策略下的熵,以生成鼓励熵后加入当前任务的奖赏中,对之前策略不看好的区域优先探索。