基于学习的手势姿态图像风格转换方法

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:liongliong504
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手势有姿态丰富、灵活方便的特点,在人机交互领域有着很高的研究意义。对手势姿态进行准确地估计不仅取决于算法的设计,更离不开一个庞大的手势数据集。手势数据集包含两个部分:手势深度图像和对关节点的标注。其中深度图像可以由深度传感器或数据手套进行采集,困难在于如何对大规模的手势图像中手关节点进行准确的标注。现有的手势姿态数据集都或多或少的存在着标注困难和标注有误差的问题,而标注的误差必然会影响算法的精度以及实际应用价值。相比之下,用软件渲染出的手的3D模型数据具有准确的标注,但模型数据很难用到实际中去。针对现有数据集标注的问题,本文提出了一种图像风格转换算法将手部真实深度图像与模型数据进行风格转换。具体的,本文在CycleGAN的网络基础上进行改进,使之更适合色彩信息不丰富、背景信息单一的手势图像。将真实数据和模型数据作为两个域的图像,在对抗训练中,生成器用来将不同域之间的图像风格进行转换,生成风格化的图像,判别器用来鉴别生成的风格化图像与真实图像的差别,并将结果反馈给生成器,促进生成器生成更高质量的图像。循环一致性是一个域的图像经过转换后到另一个域,再经过一次转换仍能回到该域,在网络中加入循环一致性检验是对图像内容进行约束,避免了对抗训练产生GAN模式坍塌的现象。真实数据经过风格转换后变成模型数据,可以通过用模型数据训练好的手势姿态估计网络对关节点位置进行估计,用来更新原有的有误差的标签或者生成标注;模型数据经过风格转换后变成真实数据可以扩充原有的手势数据集,并且这部分数据有准确的标注。为了对提出的网络模型进行训练,本文通过模型软件生成了一个手势姿态数据集,包含100000张手势图像以及手关节点的三维标注。本文通过大量的实验验证了本文提出的算法可以将真实手势数据和模型数据进行正确的转换以及网络中各个模块的有效性。并通过和其他风格转换方法进行了对比证明了本文方法具有良好的性能。
其他文献
森林作为陆地生态系统中重要组成部分,在维持地球碳平衡、调节气候和水土保持等方面具有重要作用,与人类生存发展息息相关。在资源调查中准确获取森林样地内树木的株数、胸径
当前,世界各国青少年身体活动不足现象相当普遍,全球大约有80%的青少年未达到每天身体活动推荐量。身体活动不足会直接或间接导致一些慢性非传染性疾病的高发病率。据世界卫
热致变色材料二氧化钒(VO_2)因其在68℃具有可逆金属-绝缘转变(MIT)而备受关注。本文使用Sol-Gel法以及高真空退火处理工艺成功制备了二氧化钒薄膜以及W、Eu掺杂的二氧化钒薄膜,通过掺杂和高真空退火条件来优化二氧化钒薄膜的相变性质,降低二氧化钒薄膜的相变温度,改善其红外光调节能力。本文中,VO_2薄膜的具体的制备过程如下:首先将V_2O_5与草酸加入到异丁醇溶剂中,在80℃的水浴中反应6
医用电子内窥镜是一种可以直接进入人体的医疗器械,在医学诊断上发挥着重要作用。传统电子内窥镜的尺寸相对较大,在进入人体时需要对病人麻醉,会给病人带来伤害。而人体器官
自20世纪70年代~((1))以来,股票期权就往往被视为管理现代企业的一种有效激励工具。股票期权的实施可以将员工自身利益与公司的发展联系在一起,使员工和公司两者的利益取向趋于一致。因此,对员工股票期权收益如何征税,所征税额是否公平合理,均关系到股票期权激励效用的发挥,直接影响了我国股票期权薪酬制度的长足发展。按照现行税收规定,员工在行权时支付的行权价格与行权当天公司股票的市场价格之间的差额属于“工
在物联网中,感知节点利用电磁波获取能量并加载信息的通信技术称为反向散射通信(Backscatter Communication),反向散射通信因便捷、成本低等优势在智能仓储、智能家居、智慧
渲染一直都是计算机图形学的核心课题之一,是从三维场景中合成二维图像的过程;光照渲染是图形处理器(Graphic Processing Unit,GPU)不可或缺的关键环节,为了获得较高的真实感
桥梁风工程是随着现代桥梁的发展而飞速发展的交叉学科。风对桥梁结构的作用非常复杂,它主要受三个方面的制约影响:风的特性、桥梁结构的性能、风与桥梁结构的相互作用。风对桥梁结构的作用既有静力作用,又有动力作用,桥梁结构的静力特性研究不仅具有自身的现实作用,还是动力作用研究的基础。目前桥梁风工程的研究主要以风洞试验为主、数值模拟为辅,随着计算流体力学方法(CFD)的逐渐完善和计算机技术的高速发展,CFD方
热弹性力学方程组是描述受热传导比较敏感的弹性体运动性态与温度分布的偏微分方程组。不同的弹性体一般具有不同的热传导性质。本文中,我们将讨论一维小热传导系数极限的热
采用激光熔注技术制备ZrO2/Ti复合材料热障涂层,能够实现“承载+防热”结构功能一体化,具有广阔的发展前景。但是,ZrO2/Ti复合材料层塑性差,制备过程中产生裂纹等缺陷,阻碍其