论文部分内容阅读
多模态人机交互是建立未来指挥所系统的重要研究内容。口语是人类最直接、最自然和最有效的一种交互方式,将口语对话技术应用于处理指挥所事务、获取信息,不仅降低了指挥人员的认知负担,而且大大提高了决策效率。因此,针对未来指挥所的多用户特点,本文对未来指挥所多用户口语对话系统进行了深入的研究,主要从系统模型、语音接口以及多用户对话管理三个方面展开:
1、提出了基于分层的多用户口语对话系统模型BH-MSDS(Hierarchical based Multi-speakerSpoken Dialogue System),该模型从底到上分为媒体层、解析层、对话管理层以及应用层。各层完成一组特定明确含义的功能,每一层都向相邻的层提供服务,而服务的细节对相邻层是屏蔽的。这样大大降低系统设计的复杂性,便于主题的扩展和移植。
2、提出了一种通用的用户语音接口模式SUI(Speech User Interface),其交互风格介于C&C(Command and Control)和NL(Natural Language)之间:其形式比NL结构化程度更高,比等级菜单或严格的C&C更加灵活。SUI规范语言和通信协议有效的分离了对话系统和所控制的设备,支持基于语音的设备控制。实验表明应用suI接口模式能有效的提高语音识别准确率,提高系统的鲁棒性,用户友好。
3、提出了一个基于框架的多用户对话管理方法BF-MSDM(Frame based Multi-speakerDialogue Management)。BF-MSDM算法根据任务的不同,充分考虑了对话系统中的多用户间人机交互行为,将用户间的交互类型划分为:独立、冲突和合作三种类型,以整合多用户的对话目标。该方法易于建立和控制整个对话流程,顺利指导多用户的人机交互。
评测结果表明,基于BH-MSDS模型建立的未来指挥所多用户口语对话系统,能够比较准确地判断出用户间的交互类型,在较少的对话回合中完成任务目标。无论客观还是主观方面,系统都取得了令人满意的效果。