深度学习算法在虚拟试衣中的应用

来源 :江南大学 | 被引量 : 0次 | 上传用户:forsanwang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来随着深度学习的发展,基于图像的虚拟试衣技术获得越来越多的关注。目前利用深度学习算法实现虚拟试衣的技术主要有两个,一是基于CAGAN的,但是该网络生成的图像质量不理想,并且无法处理较大的空间变形,二是基于VITON的,但是在试衣前后的图像存在较严重的颜色失真、面对自我遮挡时生成效果不理想以及变形网络存在一些缺陷等。因此,本文对深度学习算法应用在虚拟试衣中出现的这些问题进行了研究和解决,本文的主要贡献如下:(1)提出了新的衣服扭曲变形模块。该模块的输入为衣服和人体姿态图,输出为产生扭曲变形后的衣服。为了进一步提升网络的扭曲变形效果,本文舍弃了原先提取整个人体的姿态作为输入的方法,仅提取需要替换衣服区域的姿态,这样可以减少无关姿态对扭曲变形的影响,同时添加了掩模损失来使得扭曲变形后的衣服形状更加准确。最后为了保证扭曲后的衣服能够尽可能多的保留原来衣服的纹理特征,本文在两阶段训练的基础上对模块的回归网络部分的控制点进行了距离约束。在VITON、MPV等数据集上的大量实验结果验证了新的模块能够产生更好的变形效果。(2)提出了一种基于改进CAGAN的虚拟试衣方法。原始CAGAN网络的主体是一个类似于U-Net的生成器,但是网络结构相对简单。因此,本文在CAGAN的基础上提出了分阶段生成的多尺度生成器网络结构。整个模型分为多个网络,首先,第一个网络用来生成粗糙的试衣结果,其次,第二个网络用来处理第一个网络生成的初步掩模不准确以及处理自我遮挡的情况,最后,将经过新的扭曲变形模块后的衣服与前两步的结果进行融合得到最终的试衣结果。在VITON等数据集上的大量实验结果验证了该方法能够有效地解决之前方法出现的问题并取得了较好的试衣效果。(3)提出了一种基于姿态引导的虚拟试衣方法。先前的方法主要集中在固定的姿态上,不能完成在任意姿态和服装下合成人物图像的任务。因此,为了进一步提升试衣效果,本文在VITON的基础上提出了多阶段虚拟试衣网络结构并在网络中引入了对抗性损失,首先将原始人物图像与目标姿态作为输入,经过姿态分割网络得到具有目标姿态的人物分割图,其次利用姿态变换网络将人物进行姿态变换得到粗糙的试衣结果,最后将经过新的扭曲变形模块后的衣服与粗糙试衣结果进一步的细化渲染,学习扭曲变形的衣服和粗糙结果之间的掩模,恢复纹理细节和删除一些伪影并得到最终的试衣结果。在MPV等数据集上的大量实验结果验证了该方法能够取得非常好的试衣效果。
其他文献
人脸表情识别是一项极具挑战的模式识别任务,在例如医学研究、交通安全、公共安防、刑侦审讯、影视娱乐等领域有重要的现实意义。对于可预见的未来世界中的高效人机交互,正确快速的识别用户表情也是一项必不可少的技术。近十年来,表情识别的研究进度突飞猛进,从小数据的室内研究转向了具有更大数据量的室外研究,研究方法也从传统方法变革为深度学习方法。深度表情识别的主要难点有以下几点:缺乏有效训练数据、存在大量表情无关
聚类是在无标记的条件下将数据分组,从而发现数据的天然结构的一种技术。聚类在数据分析中扮演了重要的角色,它可以发现数据的潜在结构、对数据进行自然分组或压缩,是人工智能的重要分支之一。2019年,Nie Feiping等人在ACM SIGKDD上提出了指定k个聚类的多均值聚类算法(a multiple-means clustering method with specified K clusters,
行人检测作为计算机视觉研究领域的一项关键技术,在智能监控、车辆辅助驾驶、运动分析与人机交互等领域有广泛的应用价值。但由于姿态、穿着、尺度、光线的变化以及相互遮挡等复杂场景的影响,行人检测仍是一个有挑战性的问题。融合多个特征能加强人体特征表达、提升行人检测算法性能。本文针对多特征融合、候选区域的提取、行人尺度多样性等问题以及行人检测算法的应用进行了研究,主要研究工作如下:(1)针对结合方向梯度直方图
图像超分辨率(Super-Resolution,SR)是一种将低分辨率图像(Low-Resolution,LR)处理为高分辨率图像(High-Resolution,HR)的技术,旨在提升图像的像素密度,并且在一定程度上还原图像中的细节。超分辨率算法对人类世界产生的影响极其深远,其应用场景十分广泛,包括卫星成像、医学成像、视频监控、自动驾驶等诸多领域。同时,随着近年来深度学习的发展以及人们对于图像质
3D目标检测是近几年来计算机视觉领域中备受关注的前沿方向,在机器人、自动驾驶、增强现实和虚拟现实中具有广泛的应用前景,如何精确地进行3D目标检测具有很大的研究意义和实际的应用价值。为了有效避免传统方法的弊端,充分发挥深度学习强大的特征学习能力,本文研究了基于深度学习的3D目标检测算法,融合了不同数据源的数据,构建了多模态特征融合框架,弥补了单模态点云语义信息不足的缺陷,以提升远小物体及遮挡物体的检
近年来,物联网技术的发展以及智能手机的普及,从智慧医疗保健行业的发展看来,可穿戴设备潜力巨大。随着传感器技术的进步,用户可以利用可穿戴设备精确地对睡眠状况以及日常运动进行实时监控,可用于各种健康保健和预防性医疗。社会的医疗保健系统与人们的生活息息相关,而当下的医疗诊断主要还是依靠于实体医院,对于预防性健康医疗的需求较大,这使得可穿戴设备具有广阔的市场前景。可穿戴式设备作为未来个人健康检测的基础,将
计算机和通信系统与物理世界的快速融合,促进了工业信息物理系统(Cyber Physical Systems,CPSs)的出现。由于集成了控制、通信、传感和计算能力的工业CPSs对接口的要求更加开放,大量的网络安全威胁涌入到系统中,这引起了学者们对工业CPSs安全性问题的广泛关注。重放攻击是工业CPSs中一种常见的数据完整性攻击。虽然针对数据重放攻击的检测方案已取得一些成果,但是这些研究通常需要已知
GIS(Geographic Information System,GIS)是用于输入、存储、查询、分析和显示地理数据的计算机系统,它继承了地理、测绘、地图、信息、通信等众多的学科知识,是多种学科交叉的综合性技术。近些年来,伴随着地理信息系统的发展,人们对于地图数据信息的需求量越来越大。地图自动制图综合研究成为GIS领域的热点内容,是地图制图自动化的难点与发展方向。地图综合主要是根据制图综合的基本
智能体是人工智能的具体实现。在群体智能中,种群中的每一个个体都可以视为智能体,这些智能体根据某些规则决策下一次的搜索轨迹,以逼近优化问题的全局最优解。目前粒子群优化(Particle Swarm Optimization,PSO)算法及其变体已被证明是求解复杂优化问题的有效方法。在过去的20年中,PSO已引起了学术界的广泛关注。然而,粒子群算法在搜索过程中存在粒子位置振荡、多样性不足和易于陷入局部
磁共振成像由于其无辐射、多参数、对比度高等特性,被广泛应用到医学成像领域。但是其过长的数据采样时间限制了其应用。自磁共振成像技术被提出以来,各种用于提升成像速度的方法被提出,比如提高最大磁场转换率与并行成像等。而当前研究的一大热点是通过对k-空间数据进行欠采样来快速成像。理论上对k-空间欠采样可以成倍的加快成像速度,但如果采样频率低于Nyquist-Shannon定理,重建出来的图像就会出现严重的