论文部分内容阅读
近几年来,人工情感技术得到了很大程度的发展,取得了许多研究成果,但距离人工情感进入寻常百姓家还有很长的路要走。本文立足于人工情感技术和Q学习算法(一种强化学习算法)的实际应用,在前人研究工作的基础上,主要研究虚拟玩偶情感模型的构建,并将Q学习算法应用到虚拟玩偶情感模型中。传统Q学习算法存在奖励模型过于简单和数据传递滞后的问题,基于认知评价的分层情感模型存在情感推理准确度不足的问题,不能很好地应用于虚拟玩偶情感模型中。针对上述问题,本文对基于认知评价的分层情感模型和Q学习算法进行了改进,使虚拟玩偶的情感推理能力和决策能力都有所提高。具体的工作简述如下:(1)针对Q学习算法存在奖励模型过于简单和数据传递滞后的问题,本文对Q学习算法进行了改进。首先,比较当前学习周期步长与历史最小步长的大小关系,确定当前学习周期学习效率的优劣,制定不同的奖励策略。把每步更新Q值的学习机制改为达到目标状态后再反向更新Q值,得到了改进的单链逆栈Q学习算法。通过实验发现,单链逆栈Q学习算法相比传统Q学习算法学习收敛快,但容易陷入局部最优。根据单链逆栈Q学习算法和传统Q学习算法特点,提出了改进的混合单链逆栈Q学习算法,该算法第一个学习周期采用单链逆栈Q学习算法的学习机制,接下来采用传统Q学习算法学习机制。对混合单链逆栈Q学习算法进行实验验证,实验结果表明,该算法提高了行为决策的学习效率和学习效果,验证了算法的有效性。(2)在现有分层情感模型的基础上,针对分层情感模型中模糊推理准确度不足的问题,本文对认知评价方法进行了改进。从五个维度(希求度、预期性、突然性、结果可能性和危险性)对外界刺激进行认知评价,并且设计了新的评价规则表;针对PAD空间情感状态计算方法粗糙的问题,本文采用了考虑情感数据方差对情感距离计算影响的计算方法。然后进行了仿真实验,实验结果表明改进的认知评价方法和采用的情感状态计算方法提高了分层情感模型的情感推理准确率。(3)根据改进的分层情感模型和混合单链逆栈Q学习算法,对基于Q学习算法的虚拟玩偶人工情感模型进行了设计。首先设计了虚拟玩偶情感模型整体框架,其次对玩偶推理系统中比如性格与心境的映射计算等细节问题给出了具体方案;然后对玩偶情感决策系统中比如系统框架设计和行为选择策略制定等问题提出了具体的方案。最后对基于Q学习算法的虚拟玩偶人工情感模型进行了仿真实验。仿真实验结果表明,本文改进的算法和分层情感模型提升了虚拟玩偶的情感推理能力和情感决策能力。