老龄化社会的到来及空巢老人和留守儿童的持续增加,使得社交机器人在自闭症儿童、孤寡老人和残障人士等特殊群体中有重大应用潜力。社交机器人可以帮助自闭症儿童提高社交能力;帮助生活不便的老人独立、安全地应对日常生活,提高他们的生活质量。然而,现有的人-社交机器人的交互模式大都依赖于单一的传感系统,存在人机交互形式单一、感知能力不佳、智能化程度低等问题,导致其应用受限。因此,研究新型的人-社交机器人交互方法以解决上述问题不仅是社交机器人发展的关键,同时也具有非常重要的理论和应用价值。本文针对基于多模态信息的人-社交机器人交互研究现状展开综述,对当前人-社交机器人交互过程中存在的问题进行分析、提炼和总结,形成本文的主要研究内容。对多模态人-社交机器人的交互方式、社交机器人示教学习方法、多模态信息融合与感知等多种要素展开研究,以实现人-社交机器人的高效、智能交互。本文的主要研究内容如下:一、为了使社交机器人能够有效学习人类技能,避免教师或父母在教授儿童学习技能时重复示教,本文提出了一种非接触式的多模态示教学习方法。首先,利用多模态传感器同时采集示教数据,为社交机器人学习人类示教任务提供完整、互补的数据源;采用卡尔曼滤波算法对多模态传感器采集的示教信息进行数据级融合,以提高示教数据的准确性,利用动态时间规整算法解决多次示教任务轨迹时间不匹配的问题。然后,通过宽度学习网络对示教任务进行建模,以获取连续、平滑的任务模型,社交机器人能够通过学习任务模型获得人类技能。最后,通过对比实验验证了人机示教学习方法的有效性。二、在保证社交机器人有效学习人类技能的基础上,为了使社交机器人能够准确、有效地解读人类情绪,以帮助其在交互过程中进行合理的推理、决策并做出恰当的反应,本文提出了一种基于人类感觉运动行为的多模态无监督情绪意图识别方法。首先,利用深度视觉传感器和可穿戴设备采集两种不同模态的人体感觉运动行为数据。然后,对两种模态的信息进行预处理和特征级融合,并将融合后的数据样本作为无监督神经网络的输入进行分类。最后,通过多个实验验证了多模态情绪意图识别方法的有效性。三、为使聋哑人能够更好的融入社会生活,提升他们与正常人交谈的交互质量和交互体验,本文基于社交机器人平台,提出了一种多模态人机手语交互方法。该方法融合了人手的3D矢量信息和手臂的生理肌电信号,通过预处理分别提取两种模态传感器获取的手势特征,并对两种信息进行特征级融合,以得到相对完整的手语信息。然后,利用深度学习方法对手语手势进行识别;社交机器人根据手语识别结果,通过语音和动作反馈完成人机双向交互。最后,通过实验验证了多模态手语交互方案的有效性。与其他手语交互系统相比,本文提出的人机手语交互方案,可以有效解决当前人-社交机器人手势交互中存在的交互群体和手势类别受限的问题。