随着逆强化学习的快速发展,并得益于深度学习强大的表达能力,深度逆强化学习的应用场景越来越广泛。然而,逆强化学习的成功依赖高质量的专家演示,但专家无法在复杂的多代理场景中保证演示的质量。在演示次优的情况下,逆强化学习缺少还原高效奖励函数的方法,极大地限制了算法的应用场景。此外,强化学习通常利用团队奖励训练协作策略,导致代理会混淆队友产生的团队奖励,此种情况下,基于策略梯度的强化学习算法缺少高效的应对方法。基于以上问题,本文的主要工作如下:（1）提出了多代理奖励外推算法。该算法认为次优专家演示的偏好关系隐含了优于演示合理性的奖励函数,同时,更合理的奖励函数能够引导代理习得超越次优专家的策略。算法的训练过程为:首先,在奖励函数未知的前提下,基于专家知识为次优演示添加排名标签,演示包含以任务为单位的小队状态轨迹集合。之后,以全局状态为输入预测团队奖励并对其归一化处理作为预测概率,结合排名标签,将问题转化为分类任务并以交叉熵损失函数训练奖励网络。最后,结合多代理强化学习算法,利用预测的奖励训练代理策略,并收集中途产生的状态轨迹替换初始专家演示。更新的演示可结合网络微调技术迭代训练奖励网络和代理策略。实验结果表明:多代理奖励外推算法能够在三次迭代内,基本还原任务的真实奖励,达到远超次优专家演示的性能。（2）提出了多代理策略分解梯度算法。该算法认为值分解网络可以有效地解决独立团队奖励导致的信誉分配问题,但同时限制了值函数的表达。因此,策略分解梯度算法基于动作-评论家结构增加策略分解网络,不限制原本的网络结构。算法的训练过程如下:首先,个体动作网络基于环境提供的局部状态信息计算动作概率分布,与环境持续交互,收集训练样本。之后,基于多代理奖励外推算法计算样本轨迹的奖励预测值,策略分解梯度算法既可以基于真实奖励训练,也可以基于奖励网络训练。最后,评论家模块基于时序差分方法训练,策略分解网络基于评论家模块的优势值学习每个代理的团队贡献比值,并将梯度反传至动作网络。实验结果表明:在预测奖励和真实奖励条件下,多代理策略分解梯度算法均优于同领域的相关算法。