人口老龄化及大量残疾人的存在已成为全球一个严重的社会问题,大力发展服务机器人是解决这一问题的重要途径。为此,世界各国对服务机器人的投入不断加大,研发出了多种家庭服务机器人,但至今尚未有一种服务机器人能够为用户提供高质量人性化的服务,主要原因是机器人不具备自主学习的能力,而服务机器人自主学习的前提就是对人的行为和意图的理解。机器人对人的行为和意图的理解包括两个方面：一是对人的肢体动作的理解；二是对人的面部表情的理解。这两项内容是国家基金项目-智能空间支持下的服务机器人拟人行为自主学习方法研究中的重要研究内容之一,本文主要针对人的肢体动作和面部自发表情识别分别进行了研究。针对深度置信网络无法处理时序数据的问题,本文借鉴Hinton提出的条件限制波尔兹曼机,对其进行了改进,提出了时序深度置信网络模型。由于动作具有时间关联性,前后帧可以提供上下文信息,改进算法加入了时间信息,大大提高了动作识别的准确率,特别是对于具有相似姿态的动作识别效果更加明显。同时,由于时序深度置信网络不需要人为分割动作序列,而且能从动作进行中的任意时刻开始识别,真正实现了动作的实时识别,为实际应用打下了很好的基础。与人为表情相比,自发表情的识别在实际应用中更为有效,但是自发表情具有特征不明显、随机性和数据库获得困难等特点,使其识别存在很大难度,现有的方法识别主要依赖于特征点标记。针对以上问题,本文利用卷积神经网络强大的特征学习和表达能力,首次将卷积神经网络应用到自发表情识别,通过实验表明,卷积神经网络不依赖于特征点标记也能得到不错的识别结果。另外,本文针对自发表情数据库获得困难的问题,实验验证了用人为表情进行预训练对自发表情识别的有效性。