论文部分内容阅读
中国手语是一种多模式协同的视觉语言,通过手势、头动、表情、唇动等多个模式的协同动作表达语义,头动是其中的一个重要模式,主要体现在以下两个方面:部分手语词的定义包含头动;韵律信息经常借助头动进行传递,以起到增强语义、变换句意的作用,或反映表达者的情感。在手语合成中忽略头动,不仅影响手语动画的真实感,还会在一定程度上降低手语动画的可懂度。 为了实现包含头动和手势的多模式中国手语表达,本文通过运动捕获设备采集手势和头动的数据,建立了中国手语韵律库,并从两个方面实现了中国手语表达中带有韵律的头动:1)基于头动表达上下文语义的情况。本文面向中国手语表达中上下文语义相关的头部动作建立头部动作数据库,针对合成过程中的语义冲突问题,本文建立语义冲突解决规则集以实现头动的选择;针对合成过程中的时间冲突问题,本文对帧数少的关键帧采取最后一帧补齐的方法实现手势关键帧和头动关键帧数目的一致。2)手语数据中定义的头动在强调语境下的表达。针对强调语境下的头动,本文提出一种基于运动偏移映射的方法用于合成任意幅度的头动。 实验结果表明,本文提出的多模式中国手语合成方法可有效合成带有韵律的、包含手势语头动的多模式中国手语动画,更好地传递自然文本中的韵律信息,有效提高手语动画的真实感和可懂度。