论文部分内容阅读
随着计算机性能的不断提升以及视觉领域的快速发展,视觉时尚分析也引起了越来越多的人的关注。目前,在视觉时尚分析领域主要围绕服装识别、检索、时尚趋势预测及服装推荐等进行。但是,该研究领域内仍存在以下问题:(1)视觉时尚领域的基础问题,服装属性的获取主要还是依赖于手工标注和维护。(2)难以消除拍摄的距离与角度、服饰摆放方式、模特姿势等尺度的形变影响识别性能的问题。通过研究发现当前视觉时尚领域中缺乏一个专业且实用的数据集,本文引入一个经专业人员抽象整理且符合机器学习要求的数据集,并基于该数据集围绕服装属性的识别和服装关键点的定位任务展开研究。本文在现有的工作的基础上做了如下研究:(1)针对服装属性的获取还是依赖于手工标注和维护的问题,构建了一个基于深度迁移学习和特征增强卷积神经网络(Feature Enhance convolutional neural networks,FE-CNN)模型。在特征增强部分,本文创新的提出一种基于弱监督学习的APN网络提取候选区域。首先分别基于原始图像和注意力区域完成原始分支和增强分支的训练,然后联合原始分支和增强分支完成网络的多尺度训练,使得网络更加鲁棒;此外,在网络训练上,加入一种基于权重衰减的激活函数和分离的多任务联合训练的优化策略,提高了服装属性识别的准确性。(2)对与服装形变以及模特复杂姿势影响识别准确率的问题,提出一种基于改进的级联金字塔网络的服装关键点定位模型。级联金字塔网络通过级联2个类似金字塔模型的结构,结合底层特征高分辨率和高层特征的高语义信息,融合不同层的特征实现更加精确的预测。为了降低服装关键点定位的归一化误差,以空洞卷积代替模型中的下采样操作,提高特征图的分辨率,增大模型的感受野。然后,引入一种有效的后处理操作,进一步提高模型的性能。最后,通过实验证明了本文算法的有效性以及相关应用说明了服装关键点定位研究的重要意义,探索了文中研究目标在视觉时尚领域的发展的可能性。本文希望通过对服装基本属性的识别和服装的关键点定位技术展开研究,能够推进相关研究领域的发展,如:时尚对齐,服装局部属性识别,服装图像自动编辑,服装图像检索,标签导航,服饰搭配等应用场景。