图像与视频中的手形分割

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:gxy97
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能终端和视觉计算技术的快速发展,基于视觉的人机交互,尤其是以人手为媒介的交互,正被越来越多地应用于人们的日常生活中。在诸如手势识别、手的姿态估计、手和物体的交互分析等以人手为媒介的交互应用中,手形的准确分割常是重要基础。尽管手形分割有着长达数十年的研究历史,但在自然场景下的实际应用中,其在分割精度或运行效率上的表现依然不尽如人意。本文围绕如何高效地从图像和视频中获取高精度的手形分割这一主题展开,提出了三种手形分割算法。首先,本文提出了一种面向深度图的高精度手形分割算法,其主要由手形分割备选项生成和手形分割备选项评估两个模块组成。给定一帧深度图,基于深度信息可很容易地从深度图中分离出手形大致区域。然而想要从中进一步提取出精准的手形并非易事,面临着诸多挑战。观察到手形大致区域常是带状物体,本文提出一个基于受限德洛内三角剖分的手形分割备选项生成方法,沿着手臂朝向密集地生成分割备选项。然后,该算法使用类R-CNN与类Fast R-CNN的网络框架来评估每个备选项与真实分割的匹配程度,并挑选匹配程度最高的备选项作为分割结果。在两个较大的深度图数据集上的实验结果表明本文算法较之前的算法取得了更高的精度。其次,本文提出了一种面向深度图视频的高精度低延迟手形分割算法,利用视频的连续性将深度图像手形分割网络转变成高效的深度图视频手形分割网络。该算法由光流导向特征传导和轻量级细节增强两个模块组成。光流导向特征传导只在稀疏的关键帧上运行整个图像手形分割网络,然后基于光流,通过特征传导对非关键帧的特征进行估计。相较于逐帧运行图像分割网络,使用光流导向特征传导可以大幅度地提升运算效率。但传导的特征只是一种近似估计,存在着偏差,因而相较于逐帧运行图像分割网络在分割精度上有明显损失。为缓解此问题,本文引入一个细节增强模块来在当前帧上提取细节增强特征对传导的特征进行增强。在一个标准的深度图视频数据集上的实验验证了此算法在精度与速度上的优越性。最后,本文提出了一种面向第一视角彩图视频的高精度低延迟手形分割算法。该算法基于光流导向特征传导和轻量级细节特征增强,通过引入一个遮挡注意模块,进一步缓解了光流导向特征传导在第一视角彩图视频中的遮挡问题。简要而言,它明确地预测一个带权遮挡图来评估每个点在光流导向传导中的遮挡程度。基于带权遮挡图,对当前帧提取的细节增强特征使用空间注意力机制以得到遮挡注意的增强特征。然后,把光流导向传导的特征与遮挡注意的增强特征进行融合来预测分割结果。在三个公开的第一视角视频数据集上实验结果表明此算法相较于之前的算法取得了更好的精度-速度权衡。
其他文献
论述了道路桥梁路基路面沉降的危害性,分析了路桥沉降段路基路面产生不均匀沉降的原因,并从搭板设置、桥台软基处理、路堤填料选取、填筑后台等方面,探讨了道路桥梁沉降段路
隐名投资现象在我国司法实践中屡有出现,2011年《最高人民法院关于适用<中华人民共和国公司法>若干问题的规定(三)》特别就此问题进行了规定,原则性地肯定实际出资人的利益受到法
目的:观察34例高压氧治疗脑外伤后失语症的治疗效果.方法:对34例脑外伤后失语症的康复期病人,随机分为高压氧治疗组34例,与同期住院常规治疗的34例脑外伤后失语症患者,常规治
近年来,住房保障成为关系我国民生和发展的重大问题,是社会关注的焦点,也是理论研究的难点。自2009年3月“两会”期间温家宝总理在政府工作报告中首次提出“积极发展公共租赁
校园网贷乱象丛生,存在严重的校园安全隐患。从大学生方面究其原因,主要是及时享乐、追求时尚、互相攀比、盲目从众和有钱任性等畸形消费心理在作祟。因此,抵制网贷,引导大学
本文在分析加强计量管理必要性的基础上,阐述了计量机构全面质量管理的实施办法,其中包括建立完善的计量管理制度、健全的质量保障体系以及计量器的科学管理制度,并且加强计量机
本文首先利用我国东部地区392个站点的逐日降水资料集对近50年东部地区极端降水基本变化特征进行研究,其次就ENSO对极端降水的季节影响加以分析,并初步运用湿位涡理论探讨了
本文设计了一种应用于北斗B3频段的高增益宽轴比波束圆极化卫星导航天线。该天线采用圆环贴片作为辐射单元,圆极化波由两路幅度相等、相位相差90°的线极化波合成,本次设计利
随着信息科学技术的快速发展,新型复杂系统如信息物理融合系统(Cyber-Physical System,CPS)逐渐融入人类社会生活。自动驾驶作为CPS经典应用场景,它根据驾驶环境的感知并通过
小学班级管理涵盖了对小学生日常学习的管理,情感教育在日常教育教学管理上的实施,影响着学生个体生命历程、心智发展、心理发育等。在日常管理中让情感教育发挥它应有的作用