多模态信息可以提高人机交互与对话的自然性和高效性,使机器人更好地服务用户。本文针对部分交互形式进行了探索与研究:(1)机器人在嘈杂环境中寻找服务对象时,与人脸识别相结合的话者识别技术比声纹识人更可取。本文提出了一种使用图像信息进行话者识别的方案,并建立了一个共计916个样本、每个样本包含连续20帧图片的实验数据集。将基于图像信息的话者识别分为借助人脸识别技术找出人脸的嘴唇部分并执行唇动检测和对被检测出唇动的人脸进行人脸识别两个阶段。通过构造样本特征,唇动检测模型可由SVM和CNN+LSTM两种训练方法获得。实验结果表明,基于图像信息的话者识别能够达到较高的准确率。(2)异常声音一般代表异常事件的发生。家中无人或只有老人时,机器人对异常声音的监听反馈,可以帮助家人察知家庭情况。本文提出了一种异常声音检测方案:该方案借助Qt平台采集声音数据,利用改进的MFCC算法提取声学特征,并使用SVM训练声音分类器。实际测试时,分类器对每段声音进行正常和异常分类,并对相邻多段的分类结果进行平滑处理,以投票方式得到最终的反馈。实验表明,本文提出的异常声音检测方案可以取得良好效果。(3)人机对话时,融合的多种模态信息更能体现对话内容的丰富性。本文通过现有的研究成果,获取交互场景中常用的七种模态信息;参照自然语言处理方法对各模态信息进行特征化表示并进行特征融合;基于深度神经网络以编码-解码形式得到多种模态信息融合的语言表述。实验显示,本文方法可以实现多模态信息融合的基本效果。多模态人机交互与对话的研究工作,主要以软件功能的形式呈现在大众面前。而机器人硬件作为软件的载体,同样十分重要。本文基于一款在研机器人来介绍机器人的外形、结构和电路设计,并以它为载体验证上述研究成果。