基于深度学习的自动扶梯人体动作识别算法研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:GOG12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动扶梯属于开放性空间运输设备,乘客有相对较大的活动范围,对其产生伤害的因素非常多,不规范的乘客危险动作对其人身安全产生威胁。在自动扶梯场景下的视频人体动作识别中,视频数据源不稳定,如遮挡、多视角、光照、低分辨率、动态背景以及背景混乱等均导致动作分类及检测不准确。针对这些问题,提出基于深度学习的自动扶梯视频人体检测和人体动作识别方法。现实生产生活中,基于完整视频流的视频处理通常导致视频冗余,给硬件运算资源与运算速度带来较大压力,本文在视频处理中引入弱监督策略YOLO Nano网络检测输入视频流中的人体目标位置,之后截取人体目标视频段再进行后续人体动作识别;基于融合时域分割结构开发了一种改进Slow Fast网络的人体动作识别模型,针对完整视频完成特征的学习,使得该网络模型对于复杂的长时信息仍具备学习能力,网络模型在视频中的动作分类和检测方面都表现了很好的性能;基于华为Atlas 200 DK开发者套件部署应用了一种人体检测网络模型YOLO Nano与人体动作识别网络模型改进Slow Fast的前端智能架构,实现智慧终端的实时智能检测与预警。智慧终端在前端数据采集设备中嵌入智能识别算法,在前端直接完成采集的图像与视频信息的处理分析。前端智能监测的每一路前端相机都能够实现智能的实时处理分析,大幅降低延时,实现端侧智能监测,实时输出分析结果。本文开发的智慧终端架构有效地解决自动扶梯场景下的人体动作识别问题与异常告警,并且能够满足实时性要求。本文的主要研究工作与应用成果能够体现在以下几点:(1)介绍了传统的机器学习技术以及相关深度学习理论;介绍了传统人体检测和传统视频人体动作识别的主流研究方法和相关理论基础;介绍了基于深度学习的方法比较于以往传统方法的技术优势与研究前景。(2)基于YOLO Nano多目标检测网络完成人体检测网络的搭建,调整网络结构中输出通道的数目,人体目标类别得以维持,设计了网络参数量减少的人体检测网络,检测人体目标在视频中的位置坐标。(3)结合k-means聚类方法完成人体检测网络中先验框不同大小和不同数量的预设,使网络模型性能增强,接着基于在开源数据集上完成的对比实验确定性能最优的人体检测模型。本文提出的人体检测模型的(90)性能相比较原模型增强了2.04%,召回率相比较原模型增强了3.08%,FPS为19。(4)介绍了双流卷积网络R(2+1)D以及一种能够直接以RGB视频作为输入的端到端的Slow Fast网络。基于融合时域分割结构开发了一种改进Slow Fast网络的人体动作识别架构。一方面维持了原Slow Fast网络模型的特点,另一方面在不产生Slow Fast网络附加运算量的前提下相应程度上提高了网络的性能表现。(5)分别比较了改进Slow Fast网络在不同输入采样及主干网络下的性能表现;比较了R(2+1)D网络模型、原Slow Fast网络模型以及改进Slow Fast网络模型的性能表现;以及比较了改进Slow Fast网络在不同时间通道输入下的性能表现,改进Slow Fast网络模型相比较R(2+1)D网络模型以及原Slow Fast网络模型其top-1分类准确率分别提高了6.0%和2.4%、top-5分类准确率分别提高了4.5%和2.4%及计算复杂度GFLOPs分别降低了116.9和1.2,结果证明了改进Slow Fast网络针对视频人体动作识别任务的优异性能表现。(6)基于华为Atlas 200 DK开发者套件部署应用了一种人体检测网络模型YOLO Nano与人体动作识别网络模型改进Slow Fast的前端智能架构,并自行拍摄制作自动扶梯场景下人体动作视频数据集,完成华为昇腾模型转换与算法部署应用,实现昇腾AI设备上运行的自动扶梯视频人体检测与人体动作识别离线模型,实现智慧终端的实时智能检测与预警。最终智慧终端架构实现了97.5%的识别准确率与365ms的实时推理检测时间。
其他文献
背景:抗体从发现至今一直都是热门研究领域,自免疫检查点机制被发现后,关于其中关键分子抗体的研究更是呈现爆发性增长。随着研究的深入,单抗因其分子量偏大,穿透性差而影响了其在临床上的广泛应用,故研发一类分子量更小、穿透力更强的抗体进行靶向治疗成为抗体研发领域的重要热点。鲨鱼等软骨鱼类产生的Ig NAR抗体是一种仅有重链的抗体,其可变区VNAR是目前已知的最小的完整抗原结合单位,是极具潜力能够取代传统单
学位
在传统的服装设计中,设计师一般是依据自身的能力、经验、素质等主观因素来对服装的风格意象进行把握。但是服装的风格是动态的、多变的,如果仅仅是依赖设计师的主观认知条件,则无法将服装的风格意象准确地表达出来,因此,可结合感性工学把服装风格意象等无法定性的问题来进行定量解释。本课题以连衣裙为研究对象,采用形态分析法把连衣裙款式细化成若干形态要素,并筛选出符合消费者感性认知的词汇。邀请服装领域的专家对所选的
学位
本文主要针对两类二维非线性Sobolev方程,推导了求解该类问题的高阶紧致差分格式,并对相应的数值格式进行理论分析,最后数值算例证实了相应的理论结果.本文主要由以下几部分组成:第一章,介绍了Sobolev方程的研究背景、意义以及国内外的研究现状.第二章,考虑的是二维半线性Sobolev方程的Dirichlet初边值问题,对其建立了两种线性化的差分格式,并进行了理论分析和数值实验.二层牛顿线性化紧致
学位
高盐、高压和低光照、低氧的海洋环境使得海洋生物拥有产生新型天然产物的能力,海洋天然产物Aplysiatoxins衍生物是一类从海洋蓝藻中提取出来的聚酮类毒素。据报道,该类毒素具有多种药理活性,其中包括促炎、促进肿瘤、抗增殖、抗病毒活性和抗白血病等,近年来因为其多样的生物活性以及独特的骨架结构而引起学者们的广泛关注。本文的研究对象为采集于中国海南三亚陵水港的海洋蓝藻Lyngbya sp。蓝藻样本通过
学位
为了满足社区治理中居民日益多样化、个性化的需求,社会工作站作为一新兴事物得到了全国范围的推广和建设,并在乡镇及街道层面发挥着重要的作用。基于社会工作发展、社会治理能力的实际情况,各地的探索路径不尽相同。H市于2020年开始探索社会工作站的建设道路,呈现出其自身的特点,但同时也逐渐暴露出其存在的多方面问题。本文以社区治理为理论基础,对社会工作站建设发展之于社区治理的意义进行了探讨,并以此为导向对社会
学位
随着产业升级和技术变革,生产管理自动化是现代化纺织生产的标志,筒纱余量的自动检测是换筒自动化中很重要的一个环节,其直接关系到后面换筒的时刻以及换筒的调度。现在纺织行业一般的生产场景为:筒纱置于支架上面,纱线通过导向装置引导进入纺织机,然后通过人工或者半自动化的形式进行巡视,当发现筒纱耗尽时通过人工替换纱筒。发现纱线断开、用料速度过慢等情况时人工介入处理。本文研发了一套基于机器视觉的筒纱余量在线检测
学位
手性是自然界中一种基本的属性,螺旋结构是表现手性的重要形式,手性与螺旋结构在自然界乃至生物体内扮演着重要的角色,且在高分子材料合成领域显现出极大地应用潜力,因此吸引着研究者们的兴趣。手性聚合物与其他基材复合颇受研究者们的喜爱,近年来,螺旋聚合物基复合材料的研究取得了可喜的进展,研究者们已实现了螺旋聚合物与无机非金属材料、碳材料、其它聚合物、以及金属的复合,得到了一系列结构精巧、功能丰富的新型复合材
学位
氢键作为一种具有高度取向性和方向性的非共价键,常用于超分子聚合物的制备。2-脲基-4[1H]-嘧啶酮(UPy)是一种可形成四重氢键的基团,将其引入小分子或低聚物的侧基或末端,通过氢键键合作用形成超分子聚合物。选择聚乳酸和聚乳酸/聚丁二烯嵌段共聚物为前躯体,在其末端引入UPy基团,可制备序列结构有序的超分子聚合物(SMP)。由于氢键的动态可逆性等特点,制备的超分子弹性体具有形状记忆,自修复性等功能特
学位
当下,中国传统文化越来越受到国人关注,中国的传统色彩也随之成为热点。传统色彩在当代如何注入新风尚、焕发新活力成为各行业的追求。现有针对中国传统色彩的应用研究中,少有从搭配方法的角度展开,从流行色理论角度对传统色彩进行推广研究的则更少,这让许多美丽的中国色彩停留在欣赏层面,无法与实际生活中的应用场景结合。家居空间是私人化和定制化的场所,合理、美观的家居空间色彩不仅可以提高生活质量,更是主人个性和风格
学位
随着人口数量的增长,城市化的加快,城市生活垃圾的产量不断增加,对环境保护带来了巨大挑战。越来越多的国家开始提高对环境保护的重视,其中处理日常生活所产生的垃圾是个热题。机械-生物处理(Mechanical and Biological Treatment,MBT)作为一种先进的生活垃圾预处理方法备受关注,它不仅可以达到垃圾减量化的目标,还能将生物处理产生的甲烷进行燃烧发电和供暖,已成为环境岩土工程领
学位