人总是在和他所在场景里的物体进行交互,而人与物体的交互动作往往与人和物体两者都有很强的关联。在看不到物体的情况下,我们能否通过观察人和物体交互动作的骨骼动作序列,从而得知物体的属性呢?举例来说,当看不到箱子时,我们是否可以通过观察人搬箱子时的骨骼动作序列,就能得知箱子的重量呢?本文就这个问题做出了详细的研究论述。我们采集了一个大型的人与物体交互动作的数据集,其中包含视频数据和用动作捕捉服采集到的三维人体骨骼动作序列数据。我们的数据集包含8种人与物体的交互动作,分别用来推断8种不同的物体属性:重量、脆弱程度、宽度、长度、液体类型、稳定程度、强度和水容量。我们通过分析同一类动作来学习它们之间的细微差别,用以揭示正在与人交互的物体中的潜在属性。针对“从人和物体的交互动作中推测物体属性”这一细粒度分类任务,我们提出了两种人体行为识别方法（基于VGG的方法和基于图卷积的方法）。在基于VGG的方法中,我们将人体骨骼运动序列编码成若干灰度图片,用预训练好的VGGNet提取特征。实验结果表明,将人体骨骼的运动信息（如速度等）显式编码,能够大幅度地提高物体属性推断地准确率。基于图卷积的方法更加合理的利用到了人体骨骼关节之间的连接关系,而且图卷积层后连接的GRU层能够有效地从时间维度提取特征。我们通过实验评估了不同的人体骨骼数据表示形式及网络结构上的微调对物体属性推断准确率的影响。随后,我们把用于三维人体骨骼的方法推广到了二维骨骼。实验结果显示,利用三维骨骼对二维骨骼进行数据增广后,能提升从二维骨骼序列来推测物体属性的准确率。我们的实验结果表明,人与物体的交互动作和物体本身,这两者之间是高度关联的。物体潜在属性可以从人体三维骨骼的运动序列中单独推测出来。我们的神经网络推断物体属性的准确率甚至高于用肉眼观察人体骨骼交互动作来推断物体属性的准确率。我们在该方向的研究目前只是进行了一小步,该技术的潜在应用包括人的异常行为检测等。