人体行为理解是智能空间的主要功能之一,也是实现服务机器人自主服务的前提和基础。目前对基于视觉的人体行为理解的研究大多采用通用的动作识别和物体检测算法,通过对简单实验室环境下的物体和人体动作进行检测和识别,实现人-物交互的检测,进而达到理解人体行为的目的。然而,真实环境下基于人-物交互检测的行为理解无法通过现有的物体检测方法和动作识别方法的结合实现。针对这个问题,本文对复杂环境下的人-物交互检测展开研究,提出了适应于人-物交互检测的交互物体检测方法和多类别动作识别方法,并以人-物交互检测为基础实现了复杂环境下的人体行为理解。考虑到人是人-物交互的核心,本文设计了具有多样化感受野的姿态估计模型实现了静态图像中人体关节点坐标的预测。针对人体关节尺度多样性问题设计了多尺度感受野特征提取模块,并将该模块应用于模型的输入层和桥连接层,实现了多尺度感受野特征的提取。针对关节点遮挡问题,设计了描述关节点关系的关节向量图和提取关系特征的上下文特征提取模块,利用关节点之间的结构关系实现关节点坐标的预测。本文使用该模型在LSP和MPII两个姿态估计数据集上的识别率分别为86.2%和83.9%,结果表明此模型能够有效地预测人体关节点坐标。提出了基于物体检测模型YOLOv3的交互物体检测方法。创新地提出使用交互物体热度图定位交互物体的方法,利用该热度图能够从物体检测的结果中进一步识别出与人交互的物体及其对应的动作。为了实现交互物体热度图的预测,本文首先修改了 YOLOv3的结构,然后在训练时使用人体关节点引导机制,使网络从预测人体关节点过渡到预测交互物体热度图。利用交互物体热度图确定了每个动作的交互物体后,再通过贝叶斯估计确定每个交互物体在动作中的语义属性(器具或者目标物体),最终实现了人-物交互检测任务中的交互物体检测。本文使用此方法在V-COCO数据集上进行实验,结果表明此方法与现有的方法相比能够更好地实现交互物体检测。提出了一种用于人-物交互检测的多类别动作识别方法。首先,根据已识别出的关节点坐标,利用人体测量学的知识推测人体各肢体长度,确定本文定义坐标系下的标准骨架模型,并根据标准骨架模型和姿态估计检测出的骨架模型之间的仿射变换关系,确定仿射变换参数,以此作为人体动作特征。然后,使用交互检测中的交互物体热度图和卷积神经网络提取的特征映射图确定交互物体特征。最后融合两组特征实现了同一时刻多种动作的识别。为了实现基于人-物交互检测的人体行为理解,本文研究了如何使用人-物交互检测的结果表示人体行为,提出了描述行为的三元描述向量来表示行为理解结果。然后融合各阶段检测结果,生成图像中人的三元描述向量,并设计了存储与交互程序。用户可以通过交互程序查询行为理解结果并将结果发送到其它任务对应的网络端口,供其它任务调用。