基于深度学习的手势识别算法研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:zl314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在人类交互技术不断发展的今天,人类对诸如手势、影像和声音等各种人机互动技术进行了广泛的探讨。手势识别在人机交互,哑语识别等领域有十分重要的作用,因此手势识别的研究有十分重要的意义。手势识别受数据库、识别环境的影响,识别效率低下。为了在有限的手势数据集中通过网络学习特征,提升手势识别的准确率,本文从以下两个方面进行以下研究:(1)在静态手势识别领域,不考虑图像数据帧之间的时序信息,将静态手势识别按照目标检测任务处理。针对不同手势间相似度大,环境复杂等问题导致手势识别率低的问题,提出一种改进的Yolov5s手势识别方法。首先通过对Yolov5s Backbone部分进行网络结构优化,将CNN卷积替换为Ghost Bottleneck模块来增加目标手势识别率。其次在Ghost Bottleneck模块的输出增加张量拼接,进行上采样,加强图像特征的重用。最后在自制数据集上验证改进的模型在复杂环境时的检测能力,最终实现手势0到手势5的6种手势识别与字母A到字母Z的26种哑语手势识别。实验结果表明,改进后的手势识别网络模型在自制数据集上平均精度均值(m AP@0.5)为94.49%,平均精度AP值为94.2%,在26个哑语数据集上平均精度均值(m AP@0.5)为95.89%,平均精度AP值为95.4%。通过对比Yolov5s算法、Yolov4算法、Yolov3算法以及SSD算法,提出的改进方法检测精度有显著的提高,可完全满足手势控机器人的实时检测应用。(2)针对在动态手势识别领域中,动态手势识别受光照背景影响因素大,造成动态手势识别率低下。同时图像视频内存大,对CPU性能要求高,使得动态手势研究难度大。本文设计了一种基于注意力机制的CBAM-Ghost Bottleneck-GRU动态手势识别算法,对现存的动态手势识别问题如动态手势中连续手势帧序列的时间关联性与空间相关性进行研究。首先面对卷积神经网络只能对图像数据特征进行提取,却无法提取图像数据的时空特征。采用具有强长时间关联性数据处理的门控循环单元(GRU)来提取图像序列中的时间特征。其次卷积神经网络(CNN)训练需要大量数据,Ghost Bottleneck线性卷积运算生成大量Ghost特征图对特征图进行增广,生成更多特征。使得卷积核的个数与权重可相应的减少,减少数据需求量,优化检测速度。最后针对以往算法模型网络设计深,计算量过大的问题,引进注意力机制,重点学习手势区域特征,减少背景对特征学习的影响,提高算法鲁棒性。最后对设计的算法进行实验验证,实验结果表明,CBAM-Ghost Bottleneck-GRU动态手势识别算法准确率为96.89%,具有很好的手势识别效果。
其他文献
黑龙江省冰雪资源丰富,发展冰雪体育产业具有得天独厚的优势,采用定量+定性的分析方式对此进行研究,科学制定黑龙江省冰雪体育产业的发展策略。得出黑龙江省冰雪体育产业优势、机会大于劣势、威胁,通过搭建SWOT-AHP定量模型,提供抓住机遇、应对挑战的有效策略。应利用冰雪体育产业政策红利,重视人才对冰雪体育产业发展的巨大作用,深入开发黑龙江省丰富的冰雪体育资源,实施精品产业新型发展策略,提高黑龙江省冰雪体
以国内某典型屋顶分布式光伏项目开发为例,开展光资源计算与分析、典型设备比选、光伏组件安装形式选择和技术经济性评价等研究,探索屋顶光伏项目提质增效的措施,提升此类项目的盈利能力和市场竞争力,助力屋顶光伏项目的开发。
2021年《关于结束中药配方颗粒试点工作的公告》的发布,标志着自2001年起国家原药监局指定天江药业等6家企业进行中药配方颗粒试点工作的结束。随着国家级、省级中药配方颗粒相关标准的相继出台,配方颗粒的市场占有率不断提高,配方颗粒产业也随着“后试点时代”的到来进入了新的发展阶段,但配方颗粒汤剂和传统汤剂间的差异性、差异程度的研究,临床应用的规范化等问题不一定能随着这些政策的实施而得到解决,因此仍需进
创伤性脑损伤(traumatic brain injury,TBI)是一个全球重要公共卫生问题,具有高发生率、高致残率和高死亡率。炎症小体是一种多聚蛋白复合物,它可以识别细胞损伤或病原微生物感染的信号,通过经典和非经典途径激活,促使白细胞介素(interleukin,IL)-1β和IL-18的成熟和分泌,从而引起炎症反应。近年来,随着相关研究的不断深入,炎症小体在TBI中的重要作用被不断发现。本文
近年来,随着信息技术的飞速发展,各个行业都在加速数字化转型,美妆行业亦是如此。将AR(增强现实)技术应用于消费者的购物旅程中是美妆行业的一种新兴数字化转型趋势。尤其经历了COVID-19的全球大流行,人们对公共卫生的要求越来越高。AR美妆无须接触实体即可试妆的特点,为美妆用户避免了不必要的身体接触,降低病毒感染的可能性,正逐渐被越来越多的美妆品牌所接受。W公司是一家AR美妆技术开发与运营企业,如何
目的:分析综合护理对危重症患者肠内营养的护理效果。方法:选取本院2019年1月至2021年1月收治的76例危重症患者为研究对象,根据不同的护理方式分为对照组和观察组,各38例。对照组采用常规护理方法进行护理,观察组采用综合护理方法进行护理。比较两组患者护理前后血清内白蛋白、血红蛋白含量与患者护理前后耐受情况。结果:两组患者护理后血清白蛋白与血红蛋白含量均高于护理前,观察组患者护理后血清白蛋白与血红
纤维化发生于机体多种器官组织,持续进展的纤维化改变可导致组织结构被破坏并影响正常功能,甚至引起器官衰竭而死亡,但目前尚无有效防治策略。慢性持续性炎性反应是纤维化进展的重要机制,近年来发现的黑色素瘤缺乏因子2(absent in melanoma 2,AIM2)炎症小体是一种胞质内多蛋白复合物,通过识别双链DNA(dsDNA)激活并介导炎症因子的成熟释放,所引起的炎性反应可以调控多种通路进而诱导纤维
目的:观察自拟通络止痛膏外敷联合热疗在缓解癌性疼痛患者疼痛程度、减少爆发痛次数、减少阿片类药物使用剂量、降低阿片类药物不良反应发生率、提高患者生存质量等方面的作用,并评估该联合疗法的安全性。方法:本研究采用随机对照试验方法,将符合纳入标准的患者平均分为对照组与观察组:对照组按照癌症三阶梯止痛原则予规范化止痛治疗,观察组在对照组的基础上加用自拟通络止痛膏外敷联合热疗。总疗程为7天,所有患者观察期间均
目的:观察温阳止痛方治疗阳虚寒凝型癌痛的疗效。方法:本研究通过选取新疆医科大学附属中医医院肿瘤科门诊及病房的癌痛(4≤NRS≤6)患者63例,以医院统计教研室监制的随机信封法将患者分为治疗组(31例)与对照组(32例)。对照组采用三阶梯给药原则予盐酸羟考酮缓释片治疗;治疗组则在对照组的给药基础上予自拟方温阳止痛方治疗,两组患者均连续服药2周(具体剂量根据个人疼痛情况调整)。治疗前后记录患者NRS评
船舶及海洋结构物作为特殊类型的焊接结构,其大型化和复杂化的特点,使得焊接变形会严重影响结构的尺寸精度以及建造周期;而多样化的风-浪-流复合工况载荷,也使得焊接残余应力会对结构的断裂以及疲劳等力学性能产生重要影响。针对焊接变形的预测,基于迭代子结构法和Open MP的并行计算技术,开发出高效的非线性瞬态热-弹-塑性有限元分析代码,可再现焊接过程的热-力学响应,以及轻量化薄板结构建造的焊接失稳变形;同