基于深度学习的动态手势识别研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:ping996115122xing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手势是人类交流的自然形式,在人机交互中具有重要意义。随着人工智能的快速发展,符合人们生活习惯的动态手势在人机交互中逐渐凸显出来,动态手势让人们在日常生活中以一种更自然、更直接的方式进行交互,为人们提供了快速、便捷的生活方式,因此成为人机交互研究领域中的一项重要课题。基于深度学习的动态手势识别方法中,手势特征的提取是关键,但由于动态手势包含空间和时间两方面的特征,大多模型不能同时有效的提取时空特征,不能在时间间隔较长的数据中连接比较靠前的数据信息,此外由于模型多采用常规卷积从而导致特征提取的方式单一、特征信息不充分,进行动态手势识别的网络多为深层网络,随之产生的特征丢失和梯度消失现象也严重影响了模型的质量。针对上述问题,本文提出了一种将特征融合网络和变体ConvLSTM相结合的新型手势识别架构。主要工作如下:(1)针对不能同时有效提取时间和空间特征信息的问题,本文利用三维卷积能够同时提取时间和空间特征信息的特点,结合Resnet结构缓解随网络加深而产生的特征丢失现象,构造了3D-Resnet网络,同时为了缩短输入层和输出层间的连接,引入通道合并操作,构建了parallel-fusion局部特征提取模块,提升了局部时空特征提取的性能。(2)针对视频数据的长依赖问题,本文基于ConvLSTM结构的时序建模能力和空间特征描述能力,提出了一种改进的VConvLSTM模块,通过对输入门、输出门、遗忘门注意力机制的引入,以及减少三个门的卷积操作次数,降低了运算量,提升了全局时空特征提取的性能。(3)针对动态手势特征缺少深度信息的问题,本文对有别于常规卷积的深度可分离结构进行改进,构造深度特征提取模块提取手势深度特征,解决了大多模型只利用常规卷积进行特征提取而导致的特征提取方式单一、特征信息不充分的问题,本文同时在深度特征提取模块中添加了通道合并操作,缓解了特征信息的丢失问题。由于本文在局部时空提取模块和深度特征提取模块中均引入了Resnet和通道合并思想,因此将两个网路统称为融合网络。利用本文所提的深度学习架构在SKIG和Jester数据集上进行实验测试,实验精度分别达到了99.70%和95.68%。实验数据表明本文提出的架构能够有效提升动态手势识别的精度,将本文所提模型与其他先进模型进行对比,本文模型依然具有一定的优势。
其他文献
学位
随着我国城市化进程的推进及工农业生产迅猛发展,土壤重金属污染问题愈发严重,其修复是个亟需解决的环境问题,其中重金属污染物在土体中的迁移机制是决定污染修复治理的核心问题。依托电动修复的趋势背景,引入透明土理念,以电压、污染物浓度、土质参数为影响因素,在探索透明土观测重金属污染物迁移可行性的基础上,构建重金属铬的微界面迁移机制。本文以重金属污染物Cr、Cu、Ni为研究对象,采用CEDX系列能量色散光谱
陶瓷材料具有诸多优良性能,在机械制造、航天航空、光学、生物医学等工程领域得到广泛应用。氧化铝基陶瓷材料具有高强度、高硬度、断裂韧性比较低、脆性较高等特点,采用金刚石砂轮进行精密加工和超精密加工过程中工件表面和亚表面极易产生微裂纹、位错等加工损伤,进而影响加工试件表面完整性和力学性能。为了在氧化铝基TiC陶瓷材料端面微磨削加工过程中获得加工表面的完整性和高效低损伤的质量,本文基于离散元方法对Al2O
随着我国电力事业的不断发展,变电站的电压等级也不断提高。为保障一些边远地区或无人看管的变电站的供电质量,变电站的巡检工作也越来越朝着智能化与自主化的方向发展。在变电站的巡检工作中,对于局部放电故障的检测是一项非常重要的工作内容。局部放电故障往往是变电站内设备老化或绝缘劣化的表现,也是进一步加剧设备损坏的原因。本文参考人工手持设备定位局部放电故障点的过程,将超声波信号检测设备与智能巡检小车相结合,开
CO是释放到空气中最多的气态污染物之一,催化氧化法是消除CO的一种行之有效的方法。CuO-CeO2对CO氧化具有较好的催化性能,被认为是最有希望替代贵金属的催化剂。金属有机框架材料(MOFs)是一种由金属离子和有机配体构成的具有周期性网络结构的多孔晶体材料,具有独特的有序孔道结构以及较大的比表面积等特点,以MOFs为前驱体制备氧化物催化剂引起了人们的关注。本文利用MOF衍生制备了CuO-CeO2,
在图像分类的实际应用中,未见类样本时常因标签无法获得而不能正确分类。零样本图像分类利用可见类样本的语义知识迁移来预测未见类样本的标签。在传统的零样本图像分类问题中,分类任务只针对未见类图像。而广义零样本图像分类中,测试样本既包含可见类样本又包含未见类样本,更符合实际应用。如果利用传统的零样本分类方法,在可见类上计算视觉和语义空间之间的跨模态映射函数,之后应用于广义零样本图像分类问题上时,会导致领域
目前我国面临着严峻的环境问题和能源问题,发展新能源汽车是解决这两个问题的主要手段。新能源汽车以动力电池为动力装置,能够实现汽车的零污染、零排放。动力电池的能量密度决定了新能源汽车的续航里程。NCM电池具有非常高的能量密度。电池的荷电状态(State of Charge,SOC)是电池中非常重要的一个状态量,它和电动汽车的剩余行驶里程息息相关。准确的估算出动力电池的SOC是困扰新能源汽车发展的一个重
人体行为特征因其所包含的大量行为类别表征信息,在人机交互、智能控制、视频检索以及视频监控等领域的应用至关重要。本文基于卷积神经网络的算法框架,对自然与特定场景下的人体行为识别问题进行研究,研究内容主要包括如下两部分:(1)基于二维卷积神经网络的人体行为识别研究传统的人体行为识别网络提取视频数据特征信息的能力较差,导致无法对行为类别进行有效表征的问题。针对上述问题,本文基于二维卷积神经网络设计了一种
在无线通信技术快速发展的今天,频谱资源愈发紧缺,而灵活多变的电子器件设计技术越来越受到工程技术人员的重视。因为可调滤波器能有效利用有限的频谱资源,做为本论文的研究内容,具有重要的现实意义。其中加载变容二极管的微带可调滤波器具有快速调谐、成本低廉、性能与体积兼顾等优势,因此成为了可调滤波器研究中的热点问题。以变容二极管作为实现可调谐的方式,分别设计了单频带微带可调滤波器和双频带可调滤波器。考虑到通信
学位