利用深度强化学习的单个智能体已经能解决诸如复杂棋类游戏的决策问题,然而现实生活的许多决策问题还需要多个智能体协同合作才能完成。这类多智能体决策问题往往存在个体与群体之间的收益冲突,设计能解决这类冲突的多智能体决策算法是目前深度强化学习的热点研究问题之一。群体决策过程中,群体内个体往往会形成特定的分工。然而,当前对于群体内的个体是如何形成分工的机制还不清楚。因此,本文将基于深度强化学习,研究当智能体处于某类冲突——社会困境时,群体内的单个智能体形成特定分工的影响因素,从而提出一个基于满足度的多智能体强化学习算法。本文的主要工作和成果如下:1.设计了一个具有社会困境特征的决策任务。决策任务模拟了人类社会中自然资源与废弃物的动态变化过程。智能体在该决策任务中需要对采集资源和回收废弃物之间进行权衡。智能体持续采集资源而忽视了回收废弃物,则废弃物的增长将挤占资源的生长空间,导致智能体整体收益受限;而智能体持续回收废弃物其个体收益受损,但任务空间的其它智能体将受益。具备这类需要权衡的决策任务表现出类似社会困境的特征,该特征可以看作是一类“囚徒困境”。通过设计智能体深度强化学习算法,验证了该决策任务能够模拟个体与群体间利益冲突的现实社会困境。2.提出了基于满足度的多智能体分工合作策略算法。基于深度强化学习的策略算法,提出多智能中的每一个个体需要引入满足度这一度量,才可以在一个决策任务空间设计智能体的策略,以平衡智能体间个体和群体的利益冲突。尤其是,当智能体间满足度存在异质性特点时,智能体间能形成显著的分工。仿真实验还表明,智能体的视野大小和不同初始位置也会对智能体形成分工产生影响。本研究基于现实的社会困境环境,设计了个体与群体间利益存在冲突的决策任务,提出了求解该决策任务的一个基于满足度的多智能体深度强化学习策略算法。未来的研究方向是将该算法应用到诸如无人机协同合作等实际的工程应用中。