基于生成对抗网络的人体目标理解和分析

来源 :浙江大学 | 被引量 : 0次 | 上传用户:fyps
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
理解和分析人体目标是智能监控视频(图像)处理系统的核心功能,在安防等领域有着迫切的现实需求和广阔的应用前景,同时也是计算机视觉领域最热门的研究方向之一。本文以视频或图像数据中的人体目标为研究对象,从整体人群和单独人体的两个角度出发,围绕人群的密度分布估计问题和个体的行为预测问题展开研究,分别对应计算机视觉领域中的人群计数任务和人体行为预测任务。本文的主要工作和贡献如下:1、总体而言,本文统一地使用生成对抗网络的整体框架来解决人群计数和人体行为预测任务中所涉及的高质量图像生成的问题。具体而言,本文基于生成对抗网络的整体框架,根据不同任务的需求设计相应的模型结构,分别去生成细节锐利的人群密度图和外观逼真的预测视频帧。2、针对人群计数任务,本文提出了一种基于生成对抗网络的高质量人群密度图生成算法。具体而言,本文设计了一种基于特征金字塔网络的生成器结构,借助特征金字塔网络中自下而上和自上而下两条路径之间的横向连接,该结构能有效融合包含丰富人体空间位置信息的低级特征和包含丰富人体语义信息的高级特征,增强模型对人体目标的空间及语义感知能力。在此基础上,本文进一步引入了基于空间和基于通道的注意力机制,以实现有选择的特征提取和特征融合过程。3、针对人体行为预测任务,本文提出了一种基于生成对抗网络、依靠人体姿态引导的外观保持的人体行为预测算法。首先,本文使用一个基于长短期记忆模型的人体姿态预测网络来预测未来帧中的人体关节点坐标。然后,在人体关节点坐标所表征的人体姿态信息的引导下,本文设计了一种全局生成对抗网络与局部生成对抗网络相结合的单帧图像生成器以捕获不同层次的人体外观特征,按照从粗到精、从整体到局部的方式重建人体外观,实现高质量的单帧图像生成。最后,本文设计了一个基于3D编码器-解码器结构的视频修正网络以从整体角度进一步提高生成视频的质量。
其他文献
针对我国林木资源质量不高、病虫害影响较大等因素研究者提出对靶施药概念。20世纪初期,西方学者将装备与对靶施药概念结合达到精准施药的目的。现阶段为提高施药效率、减少环境污染,精准施药已成为林业病虫害防治的核心理念,尽管目前已达到精准施药的目的,但药液作用于树干后的行为如何还需要进一步研究。面向树干精准高效施药的影响因素主要包含:喷嘴参数;雾滴抵达目标作物前的运动方式;树干表面特殊纹理特征。针对前两个
随着社会信息化程度的不断提高,人脸识别技术被广泛应用在门禁系统、公共安全、消费娱乐等领域。人脸识别算法可以分成传统方法和深度学习方法两大类,目前主流的人脸识别算法
县级林业局作为基层林业主管部门,建立网站有利于宣传林业、提升林业治理能力、推进林业信息化发展。目前全国约有2800个县,中国林业网下仅建有县级林业局门户网站860个,也有
黄栌(Cotinus coggyria)为漆树科黄栌属的落叶灌木或小乔木,广泛生长在中国的东部、西北地区和欧洲,是中国重要的观赏红叶树种,具有重要的科学研究价值。研究立地条件,空间结
随着科技及现代先进制造业的发展,对于力的测量以及分析都至关重要,需要对力的变化能够随时测量以及监控。压电力传感器在静动态测量中能够发挥很好的作用,开展测力单元测试
随着传统锂离子电池的大规模应用,其生产成本随着原材料的紧缺不断增加,同时还存在起火和爆炸等安全隐患。以钠离子固体电解质为核心的二次钠电池体系,较传统锂离子电池具有高能量密度、高安全性和低成本等优势,应用在能源领域潜力巨大,但低离子电导率和稳定性的钠离子固体电解质限制了二次钠电池体系的大规模应用。组成为Na3Zr2Si2PO12的NASICON结构固体电解质具有较高的离子电导率和稳定性,是最有应用潜
近来,知识图谱作为人工智能领域的重要组成部分,受到了众多研究者的关注。单个知识图谱很难满足实际的应用需求,而不同知识图谱之间存在冗余、异构等问题,因此知识图谱融合成
利用1948~2016年的NCEP/NCAR逐日大气再分析资料,采用多种气象诊断方法,本文研究了北太平洋冬季大气的低频变化及天气尺度涡旋的作用,并对低频扰动移动性演变特征的主要影响因
金属半固态成型技术被认为是一种极具有潜力的短流程、近终形成型技术,具有巨大的市场需求。通过电磁感应制备半固态坯料的工艺参数难以获得,运用有限元模拟分析试样的电磁场和温度场,为确定和调整电磁感应的最佳工艺参数提供了一种行之有效的手段。本文以定量AZ80M的圆柱形坯料为研究对象,利用有限元分析程序ANSYS对不同功率下坯料在高频电磁感应作用下试样内部的电磁场、温度场进行了模拟,研究功率和半固态坯料金相
胶合板是由奇数层单板经胶粘剂胶合而成。我国的胶合板质量参差不齐,整体质量较低,其中重要的影响因素就是单板的外观质量,所以对单板的外观质量进行检测评价是提升我国胶合板质量的关键。单板外观质量在线检测系统高效、准确以及评价方法合理是该领域中的研究热点,因此本课题进行了相应的研究。本课题开发了 一套基于机器视觉的单板外观质量在线检测系统。首先搭建了机器视觉检测系统,并采集了大量单板图像,建立样本库。其次