人体姿态估计模型鲁棒性研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:eqsd521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计(Human Pose Estimation,HPE)主要研究通过算法自动检测图像中不同人的肢体关键点的位置,先进的人体姿态估计方法在公开的学术数据集上取得了优越的性能。人类视觉对各种图像损坏具有鲁棒性,而先进的人体姿态估计模型容易被这些图像损坏所混淆。因此,本文主要研究评估和提升人体姿态估计模型的鲁棒性。首先,本文模拟了15类图像损坏类型,损坏强度从强到弱分成5个等级,应用到COCO、MPII、OCHuman的测试数据集中,建立了全新的HPE评估数据集COCOC、MPII-C、OCHuman-C,提出了HPE模型鲁棒性评估指标,构建了HPE模型鲁棒性评估基准(Benchmark)。然后对HPE模型测试并得到一系列结论:(1)模型会因图像损坏而出现严重性能退化。(2)模型对亮度和天气变化更加鲁棒,但是对运动模糊和缩放模糊的鲁棒性较差。(3)模型的鲁棒性与骨干网络的性能呈正相关。最后,本文提出了一种基于对抗和知识蒸馏的数据融合算法(Adv Mix),以改善姿态估计器在不同图像损坏中的鲁棒性。基于对抗的数据融合包括两个模块:数据增强生成器、人体姿态估计器,它们以对抗博弈的方式联合训练。为了弥补由数据增强生成器引入的噪声模式,通过知识蒸馏将使用干净数据集预训练的教师网络中准确的人体姿态结构信息迁移到人体姿势估计器中。实验表明Adv Mix在保持干净数据上的精度的同时,显著提高了人体姿态估计模型在各种常见图像损坏下的鲁棒性。
其他文献
目的 探讨色素框同源物7(pigment frame homologue 7,CBX7)、细胞角蛋白18(cytokeratin 18,CK18)与早期声门型喉癌CO2激光显微手术治疗局部复发的相关性。方法 选择声门型喉癌早期患者(均行CO2激光显微手术治疗)84例作为癌症组,喉良性病变患者72例作为良性病变组,选择同期来我院体检健康者60例作为对照组。检测并对比癌症组术前、良性病变组、对照组的血
期刊
光纤同轴耦合器是将半导体激光器的激光束通过微透镜耦合进传输光纤的连接器,由微透镜、光纤和封装壳等零件组成,是光通讯系统中的重要器件之一。将同轴器件中微透镜和半导体激光器、光纤的耦合光路对准后,为了实现光路的长期稳定性,需要采用至少三路激光同时对称地将同轴器件中的封装壳和镜架焊接在一起。此三束激光需要同时焊接,且三个激光脉冲能量相差在2%以内。否则产生的应力会导致器件形变,光路偏离,严重影响激光束耦
学位
痕量生化检测是对组分含量低于百万分之一的生化物质进行检测的重要技术手段,在医疗诊断、健康监测、生物医学等领域有着广泛的应用需求。高精度的检测技术是痕量生化检测的基础,其中光学检测手段具有抗电磁干扰、灵敏度高以及尺寸小等优点,成为痕量生化检测领域的研究热点。实现光学痕量生化检测的核心关键是构建高灵敏的折射率传感器。微纳光纤是一种直径在微米或亚微米量级的光纤波导,其具有大比例倏逝光场,可以直接与外界环
学位
以文化为基础发展的文化产业正逐渐成为新的经济增长点,其规模和水平已经成为衡量国家和地区竞争力的重要标志,但许多地域文化正在不知不觉中消失。演艺业是“文化创意产业”的重要组成部分,开展演艺业与地域文化的互动研究,对于打造地域文化品牌、促进演艺业长足发展具有推动作用。本文基于徐州演艺集团、徐州汉纳国际演艺中心、徐州音乐厅和奥体中心,从地方性、嵌入性、文化认同的视角出发,运用文本分析法、对比分析法、个案
学位
生猪养殖碳排放是人为碳排放清单中的重要组成部分。不同于欧洲和美洲的规模化农场养殖,存栏量小、资金匮乏、技术设备不完善、面源污染严重是小型家庭式生猪养殖模式具有的突出特点。为摸清家庭式生猪养殖碳排放的结构与特征,课题组以江苏省盐城市亭湖区为研究区,通过入户调查结合专家访谈方法获取与生猪全周期碳排放有关的样本数据,结合生命周期评价方法和Manure-DNDC模型,构建一套适用于江苏东部垦区的小型家庭式
学位
涡旋光束具有环形光强分布且携带轨道角动量,可无接触地捕获或旋转粒子,亦可利用新型复用技术提高通信系统容量。完美涡旋光束的环半径与拓扑电荷数无关,可增强粒子捕获的稳定性,提高光纤通信系统的耦合效率,防止模式质量劣化。双环完美涡旋光束进一步增加了光镊技术的灵活性,也是继续提高通信系统容量的潜在选择。论文研究了双环完美涡旋光束的产生和检测,并开展光场多参数独立调控,主要研究成果包括:(1)分析了传统涡旋
学位
机器学习技术应用于光子器件设计领域,可以极大提高光子器件的设计效率。本论文使用机器学习技术进行光子器件的设计,提出了三种设计方案:一种包含二值化激活函数的级联神经网络设计方案、一种利用正向卷积神经网络和遗传算法结合的光子器件设计方法、以及一种全空间光场预测的方法。分别设计完成了功率分支器、超表面光束偏转器以及器件的全空间光场预测。本论文的主要工作如下:(1)提出了一种包含二值化激活函数层的级联神经
学位
鬼成像技术是一种利用双光路关联来进行成像的技术。该技术可以使用无分辨率的单像素探测器对空间物体进行探测,并且对从空间物体到探测器的光路中的失真不敏感。近些年研究人员将鬼成像技术引入时间域并实现了时域鬼成像方案。目前,时域鬼成像方案仍旧存在着测量次数过多,传输速率慢及成像质量差等不足。本论文主要研究了在光纤通信系统中的波分复用单次时域鬼成像方案,致力于实现高速时域信号的高质量传输与探测。论文主要工作
学位
分布式光纤声波传感技术由于其具有灵敏度高、成本低、抗干扰性强、能进行大尺度实时监测等优势,在安防监测中具有广泛的应用前景。然而,在轨道交通、机械结构等较为复杂的场景中,大环境噪声干扰、声波非线性传播等问题严重影响了信号质量,使得声场信号难以被常规方法分析与识别。因此,需要研究适应以上场景、高准确率的信号定位与识别算法。本文针对大干扰环境下声信号难以被识别定位的问题,选定大尺度室外周界与小尺度复杂结
学位
近年来,我国的电力系统装机容量逐渐增加,各种类型的电网逐步实现了互联互通,这使电力系统中短路故障的峰值电流不断增大,因此,降低短路电流对电力系统的冲击,限制过大的短路电流越来越迫切。目前,各种故障电流限制器受限于材料特性、工作环境、成本等各方面因素,都存在各种各样的不足之处。本文从故障电流限制器特性出发,结合相变材料Ge2Sb2Te5的特性,设计了一种基于Ge2Sb2Te5材料的故障电流限制器,为
学位