融合多层次视觉信息的人物交互动作识别

来源 :计算机科学 | 被引量 : 0次 | 上传用户:jamesfair
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于计算机视觉的人体动作识别技术在视频监控、智能驾驶、人机交互、多媒体内容审核等领域均有着广阔的应用前景,其中人体动作中的人物交互是动作识别的核心内容之一。现有的人物交互动作识别模型对人物关系的提取仅仅停留在表层视觉特征之上,并未充分挖掘人体关键区域以及人物之间的深层语义关系。针对此问题,文中提出了层次化的图神经网络模型(HGNN)对人物交互动作建模。HGNN模型从局部到整体显式地对人体关键区域以及人和物构成的场景图进行建模,并利用注意力图池化机制(AttPool)剔除层次图中冗余的信息和噪声,再通过图卷积网络提取图结点之间的深层语义关系,对卷积网络提取的特征进行聚合与优化,从而得到反映人物交互动作本质的特征表示。另外,HGNN模型在中层图进行的临时监督分类也能够约束网络更好地学习到交互动作的人体模式,避免网络对交互对象产生“偏见”。最后,针对HGNN模型,设计了多任务损失函数,用于有效进行模型训练。为了验证HGNN模型的有效性,在公开的大型数据集V-COCO上进行了广泛的实验,结果均显示所提出的HGNN模型对常见的人物交互动作具有广泛的适应性和鲁棒性,精度(mAP)超过了现有的基于图神经网络的模型,同时领先于大部分最新的多流卷积模型。
其他文献
国民经济的发展水平深刻地影响着建筑装饰行业的发展,近十几年来,我国快速增长的社会经济是建筑装饰行业迅猛发展的引擎。伴随着我国城镇化进程的加快,房地产行业的繁荣、社会基础设施建设的不断推进,使得建筑装饰行业彰显出了前所未有的活力。A装饰公司是装饰行业的龙头企业,近几年更是得到了飞速发展。目前,A装饰公司承接的项目遍布全国,同时也开始探索海外市场。业务量大、项目分布广使得A装饰公司的管理难度加大,特别
本文以著名作曲家敖昌群先生创作的古诗词艺术歌曲《江城子·乙卯正月二十日夜记梦》(以下简称《江城子·夜记梦》)为研究对象,通过对相关文献的阅读与梳理,基于已有研究成果的基础上,对作品的歌词与音乐进行较为深入的分析,并结合笔者的演唱实践经验去探究该作品演唱需要注意的问题,如气息处理、咬字吐字、声音润色、古诗词韵味以及情感处理等。全文分为四个部分。第一部分为词曲作者以及作品创作背景简介。对词曲作者生平艺
随着计算机技术的发展,计算机视觉中图像信息分析方法对计算机视觉的研究尤为重要。图像数据集能极大地推动深度学习和计算机视觉的发展。基于此,采用CNN来进行图像特征的提取,将图像输入网络,通过全连接层的输出将特征映射到一维数组。利用汉明距离来循环计算图像的相似度,把图像按照相似度排序并返回给前端。该方法获得较高的查全率,系统查询获得较高的图像检索质量。
<正> 第三讲洗涤度传感器(一)目前,无论是洗衣机还是洗碗机,大都是典型的开环控制系统,对被洗物品的洗净程度(洗涤度)并不进行检测和控制。全自动洗衣机虽然增加了液位等局部闭环控制,但是其中多数对洗涤度仍不具备检测手段,整个洗涤过程按照预定程序进行,不管被洗物品洗净与否,它都照洗不误。然而,由于日用被洗物品的种类和脏污程度的千差万别,使设计者或使用者主观拟定的洗涤程度,很难做到与实际需要完全吻合。洗
期刊
历史学科具有很强的人文属性和人文价值,而初中生的历史基础知识相对有限,无法全面掌握历史教学内容。因此,初中历史教师需要采用先进的教学方式开展教学活动,在历史教学过程中灵活运用历史故事,将古今中外的人物事迹、历史事件和典故作为教学素材,以加深学生对历史的理解和对相关知识的掌握。
塑料带来生活便利的同时,给水、大气、土壤、海洋等带来污染,科学治理塑料污染成为环境治理突出问题。中国一直以来都高度重视塑料污染防治工作,针对塑料污染防治的规定体现在一些相关的法律、法规以及规章制度和专项行动方案中。文章分析了塑料污染防治工作中存在的问题和该领域的研究热点,提出了防治建议。
<正>随着物质文化水平的提高,按需出版、按需印刷呈现上升趋势,数码印刷极大地满足了小批量、个性化及按需出版的社会需求,为出版印刷数字化的长远发展奠定了基础。本文对数码印刷生产工艺进行了分析。数码印刷是与传统印刷原理完全不同的一种印刷方式,以电子文本为载体,通过网络传递给数码印刷设备实现直接印刷。其特点是,在将数字信息直接转换成印刷品的过程中无需胶片或印版材料,无起印数量,立等可取,但单册成本相对较
期刊
<正> 第二讲(1) 霜传感器霜传感器是近年来发展极为迅速的一种家电传感器。采用霜传感器组成电冰箱或空调器的自动除霜系统,能够获得明显的节能效果。除霜系统按测量方法可分为接触式和非接触式两大类。属于前者的有机械式,电容式和压电谐振式等;属于后者的有光电式,超声波式和电磁波式等,其中以光电式居多。下面分别加以介绍。一、机械式霜传感器这是工作原理最为简单的一类霜传感器,它们大都利用做间歇运动的机械装置
期刊
在我国教育水平持续提升的情况下,小学语文教学中审美教学的相关问题也渐渐引起了人们的重视。小学语文教学包含的内容较多,尤其是在如今的新课程改革背景下,小学语文教学被赋予了新的要求和意义。如何对审美教育进行渗透,决定着素质教育的具体成效,只有合理对其进行实践才能够更好地为学生的全面发展打下坚实的基础。据此,本文分析了相关问题,希望能够对现实有所裨益。
<正>在经济全球化发展的浪潮下,为了增加自身竞争力,企业展开了各种形式的合并活动,以此来扩大企业的规模,增加企业抵御风险的能力,为企业带来更多的价值。合并后的企业需要编制合并财务报表来反映母公司及其全部子公司的财务状况。但是编制合并报表的过程并不是一帆风顺的,还存在一些问题,如公允价值和商誉难以合理确认,合并报表编制的范围及确认时点还不明确,合并报表披露的内容并不全面等。因此,企业应加强对于合并报
期刊