论文部分内容阅读
手语作为一种多模式协同的视觉语言,是听力障碍者在工作与生活中与他人交流的主要手段。中国手语词的数量远少于标准汉语,大量的信息都蕴含在丰富的视觉韵律中。已有的中国手语合成研究能够实现自然文本中汉语词到手语词的动画转换,转换过程忽略中国手语的韵律信息,这在一定程度上影响了合成效果的可懂性。通过分析文本的语境可以预测要表达的韵律,但现有的自然语言处理技术还不能解决这个问题。中国手语标记语言(Chinese Sign Language MarkupLanguage,CSLML)制订了一套通过人工标注自然文本中汉语词的韵律信息转换为可供合成使用的脚本描述方案。
本文在CSLML的基础上,设计并实现了中国手语标记语言文本编辑工具,用于交互式地对文本加入CSLML功能层关于强调状态的韵律标注信息,生成含有韵律层参数的标记文本。
如何基于CSLML文本中的音韵层参数实时合成用户要求的韵律效果是需要解决的一个问题。本文针对强调韵律特征的绘制展开研究,强调韵律特征是中国手语表达中普遍的一种现象,表现为同一手语词在不同的强调副词或形容词的影响下手语动作的幅度和速度会产生变化,但整体的运动特征保持一致。中国手语强调韵律特征在数据层的表现与广泛应用于交互式动画场景的运动风格转换问题在本质上是一类问题,即对输入的运动数据经过相关算法处理后产生出保留原始运动特征的新的运动数据,新的运动数据较原始运动相比有着自己独特的风格表现。
本文在对中国手语表达中手势运动数据分析的基础上,基于非线性放大思想提出了一种合成任意幅度手势的中国手语手势合成方法,用于强调韵律特征的绘制。对同一手语词的中性程度和最大强调程度原始关节角度数据提取关键帧,对两组关键帧数据进行动态时间规整,保证同一时间点的两组动作关键帧的幅度近似,最后求解基于非线性放大思想构造的幅度变换公式中的最优参数。绘制时结合中国手语标记语言进行驱动,实验结果表明,本文提出的合成方法不受运动形态的约束,可以实时逼真地表现出不同强调程度下的手势合成效果。