基于视觉的手势识别技术在航空医学模拟训练中的应用

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:YYXINLEI
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的崛起,手势识别技术在人类的生活中更加普遍。静态手势识别和动态手势识别统称为手势识别技术。相比于静态手势识别,动态手势识别的技术复杂性要大得多。尽管动态手势识别的实现方式有很多种,但大部分技术难点尚未得到完全解决。本文从动态手势识别的手部检测、特征提取、动态手势分类等几个步骤着手,并结合深度学习等方式,首次实现一种应用于航空医学救援飞行模拟器中的动态场景下的医学动态手势识别系统。本文主要工作与创新内容如下:(1)手部检测:针对复杂背景对手势识别会造成较大负担等问题,本系统优先采用手部检测技术。由于手在图像中占比较小,以及模型识别的准确度和实时性等问题,本系统采用改进后的YOLOv5s进行手部检测,提高了2.0%的检测准确度。(2)手部姿态估计:针对飞行模拟器模拟飞行时会产生振动等问题,本文提出了一种自上而下的手部姿态估计算法。即将获取的手部图像输入到利用直接回归方法的手部关键点提取模块中。实验证实,最新轻量级网络Re XNet作为主干网络效果最佳。后通过滤波等操作,达到去除动态环境中高频低幅振动干扰的效果。(3)动作分类:针对动态手势识别注重时序信息,以及本系统中包含多个网络模型的问题,本部分采用多层堆叠的门循环单元(Gated Recurrent Unit,GRU)进行实验。针对飞行模拟器模拟遇到恶劣天气产生大幅度颠簸的问题,本文在堆叠的每层GRU网络引入注意力机制,使得分类网络将更多注意力集中在手势本身,忽略动态环境对用户造成的干扰。识别准确率达到了89.0%。本文首次提出应用于动态环境下的动态手势识别算法。即手部检测模块负责获取图像中的手部位置,再进行手部关键点提取,从而获取手部特征,最后进行医学手术动态手势分类,利用滤波以及注意力机制等手段,将动态环境下的干扰降至最低,从而得到适用于动态环境下的动态手势识别系统。除此之外,本文针对系统三个模块创建了航空医学应急救援动态手势识别系统的三个大型数据集。
其他文献
近年来随着航空科技的不断发展,无线遥测遥控领域用户终端以及数据吞吐量在不断的增大,如何高效利用频谱资源已经成为人们研究的热点。为了提高频谱利用率一般可采用扩频技术或者高效的调制方式来实现。成型偏移正交相移键控(SOQPSK)信号属于一类连续相位调制信号,其包络恒定并且具有频谱利用率高和功率利用率高的优点,现已经被列入IRIG106航空遥测标准。美国军方也采用了此标准,用于卫星通信和宇航中。SOQP
学位
近年来航天发射任务日益增多,对遥测系统可靠性要求日益提高。遥测发射机是遥测系统最为核心的工作设备,直接影响着遥测数据获取的质量与效果,决定了遥测任务的成败。传统箭载遥测发射机主要采用超外差结构实现发射通道,该结构采用多级串联变频,结构冗长、使用分立器件多,系统故障率相对较高。本课题结合航天发射任务要求,采用结构简单的零中频结构和冗余备份设计对传统超外差式箭载遥测发射机提出高可靠化改进。设计并实现了
学位
面向视频数据的行为智能分类研究因其具有重要意义和应用价值,目前已经逐渐成为学术界与产业界的研究重点。该研究不仅苛求于算法模型能够挖掘视频中完备的空间特征,亦需对时间信息进行有效表达。尤其是在时间建模方面,近年来的算法研究多数通过引入时间差分操作来提取相邻帧之间的运动信息,并使用相加融合或注意力融合的方式将其融入到原始特征当中,取得了一定效果。然而,通过分析,时间差分操作以及对运动信息无差别对待的方
学位
随着智能化时代的到来,目标识别技术已在诸多领域得以实现。针对不同的识别任务人们常依赖于专家经验所设计的网络,这就需要专家具备较高的设计水平和实践能力,无形中拉高了网络框架设计的门槛。因此借助神经网络架构搜索算法实现网络的自动搜索成为了当今研究的热点,通过神经网络搜索出的网络具有参数量小、模型复杂度低、检测速度快等优点。本文的第一个研究内容是选择一个最适合与MobileNet轻量化网络结合的目标识别
学位
铁路环线信号已被应用于轨旁电子设备(Line Side Electronic Unit,LEU)向高铁车载设备的半连续通信,其特点是采用了直接序列扩频调制方式。该信号可以传递行车速度、坡度和列车定位信息。目前,铁路环线通信技术主要应用在欧洲列车控制系统(European Train Control System,ETCS)中。在我国,随着国家关于中欧铁路环线通信合作项目的推进,同样需要开展铁路环线
学位
人体动作识别是计算机视觉领域的一个重要的研究方向,旨在使计算机能够自动识别人体动作。人体动作识别技术在智能监控、无人驾驶、人机交互等方面都有广泛的应用。随着深度学习被应用于人体动作识别领域,人体动作识别准确率有了显著提升。这其中空域特征与时域特征最为常用,然而时空特征存在复杂多样性和时空对应关系利用不足的问题。针对人体动作时空特征复杂多样性以及时空特征之间对应关系利用不足问题,本文对基于多特征学习
学位
人体的细胞液由细胞内液和细胞外液组成,在健康状态下,细胞内外液维持着动态上的平衡。当人体患有某种疾病时,如肾病,细胞内外液水含量将会失衡,从而导致人体出现脱水或者水肿的症状。生物电阻抗技术是利用电学的方法测量人体水分,以此来提取人体的生物电阻抗信息,并根据这些信息来反映人体的生理或病理信息的技术。人体阻抗的测量方式是通过恒流源向人体施加安全激励电流,并采集人体反射回来的电压与电流信号来计算人体的阻
学位
伽玛射线暴是宇宙学尺度上,恒星级天体爆发过程中产生的某一方向伽玛射线强度瞬时增强又迅速减弱的现象,揭示着宇宙学距离起源,伽马射线暴探测是当前天文学研究最活跃的方向之一。伽马射线探测的核心需求有两个,一个是在保证较大视场的前提下,提高位置分辨能力,另一个是提升能量分辨能力。这些探测需求的提升都使得伽马射线探测技术逐渐向着大规模,高集成度的方向演化,这对与之匹配的读出电子学技术也提出了新的需求。本文设
学位
图像去模糊处理是图像复原中重要的研究任务,然而目前图像去模糊研究大部分是针对整张图像,但在实际生活中,人们往往希望对图像中的特定目标进行去模糊,如人脸、行人、指示牌、车牌等,而对图像的背景则没有去模糊的需求。本文研究了主要针对行人的特定目标去模糊算法,工作内容和创新性如下:提出一种针对行人去模糊的生成对抗网络(Pedestrain Deblurring Network,PDNet),能够针对图像中
学位
在科学技术快速发展的现代社会,通信技术也向着多个技术方面综合发展,但随着人类对各个方面的深度探测,通信场景也愈发复杂。在很多场景下,对通信终端功能的要求不再仅仅是实时通信,还需求通信设备具有测距定位的功能。相较于传统单收发的通信设备,集收发通信测距一体化的通信设备具有更强的通用性、更高的灵活度,能够被更为广泛地被应用在军事、航空航天、电力交通、无人机协同等领域内。但由于在某些条件特殊的通信场景中,
学位