论文部分内容阅读
讨论了利用多模式接口技术处理异种语言模式交流的问题.作为连接聋哑人和听力正常人的一个桥梁,我们将手语识别、手语合成、唇读、人脸特征检测以及特定人面部动画相结合,构成了手语转换和口语交流的代理.文中对汉语手语识别和合成中的一些特殊问题进行了讨论.对手语识别采用数据手套作为手语输入的数据采集设备.对于一些同形异意的手语词汇,利用唇读得到的辅助信息可以达到提高识别率的效果.对手语的合成,采用运动跟踪获得的信息来加强原来基于手工建模的三维虚拟人合成,增强了手语合成与显示的自然逼真度.文中的研究验证了利用多模式接口技术可以有效地实现异种语言模式间的交流.