近年来,随着人们生活的多样化,应用穿戴式相机拍摄被广泛地应用在日常生活。目前,基于穿戴式相机的第一人称视频动作识别已成为计算机视觉研究的热点问题。与第三人称视角的相机相比,第一人称视角的相机可以捕捉到穿戴者的操作画面中心,更贴近人类的视觉观察,为智能机器人的发展提供了帮助。本研究通过第一人称视频探讨人类动作行为,结合手部骨架数据和RGB数据,提出动作识别的深度学习框架,并设计一个从演示视频中学习机器人操作动作指令的应用,构建面向日常生活场景下机器人自主学习的探究方案。首先,本研究提出了一种基于手部骨架的动作识别的深度学习框架。该框架利用不同模态下的图像和骨架序列数据信息,分别完成对动作特征和空间结构特征的提取和聚合。具体来说,针对骨架序列,依据图结构理论和手部的物理结构,首先构建手部的图拓扑结构,提出通过自适应图卷积网络处理手部骨架序列的无向时空图;针对RGB图像序列特征,使用Res Net152网络进行全局空间和物体特征的提取。在实现样本特征共享上,该框架采用了局部特征移位卷积网络,分别对之前处理的两种数据模态的特征进一步融合,实现样本间特征层的信息共享,为模型带来更好的泛化性。通过在第一人称手-动作视频FPHA数据集的实验表明,提出的网络框架在动作识别的准确度达到90.74%,比之前通用的模型提高了约4%,能够有效地解决在复杂场景下的动作识别,并具有较强的鲁棒性。此外,基于上述的动作识别框架,本研究还设计了一个从第一人称视角演示视频中学习机器人操作动作指令的系统方案。该方案包括两个部分的工作。第一部分是从演示视频中获取关键元组信息,包括抓取物体的手势姿态,动作和操作物体或工具,其中手势姿态信息由手势识别框架识别,动作和物体信息由动作识别框架得到,将这些元组信息生成操作动作指令。通过实验表明,操作动作指令生成性能达到84.8%,并且对于机器人应用具有泛化性。第二部分,将操作动作指令转化并部署到机器人实验平台,实现机器人实践操作应用,验证系统方案的可行性。