时尚媒体数据的新型检索技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:husong724
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交媒体的日渐风靡和电子商务网站的繁荣发展催生了海量的时尚媒体数据,比如普通用户分享的街拍数据、时装品牌发布的时装秀数据、电商网站提供的产品数据等。时尚媒体数据是一类特殊的跨媒体数据,除了一般跨媒体数据具备的多模态性,还具有多领域、多场景、弱标签等特点。本文着眼于时尚媒体数据的新型多媒体检索方法,对海量的时尚媒体数据进行语义分析与理解,用以支持和提供多种数据检索方式和时尚流行趋势分析,具有重大的研究意义。  时尚媒体数据的多模态、多领域、多场景、弱标签这些特点对于时尚数据的检索技术带来了诸多新的研究挑战:1)如何利用弱标签时尚媒体数据,对时尚图片进行表征学习能同时用于图像检索和图像分类等多个图像理解任务?2)如何将包含不同模态、不同领域的时尚数据项映射到一个统一的特征空间,其中度量距离可以用于数据检索与分析?3)如何实现时尚物品在不同场景之间的图像检索模型?本文提出了新型的图像检索方法、跨媒体检索方法、跨场景物品检索方法来着重解决上述三个研究挑战。这些新型的多媒体检索方法为用户提供了灵活多变的数据检索与分析工具,对于步入大数据时代的时尚行业具有非常实际的应用价值。  本文的主要贡献及创新点如下:  (1)本文提出了一种新的基于近邻约束嵌入学习的图像检索方法,利用弱标签时尚媒体数据,对时尚图片进行表征学习,能兼具语义类别和相似性度量信息,从而能够用于图像检索和图像分类等多个图像理解任务。设计了基于深度卷积神经网络的特征提取框架QuadNet,并且设计了多任务分类损失函数和包含近邻相似性约束的四元损失函数,在两个损失函数的共同监督优化下完成QuadNet的参数优化,其中多任务分类损失函数保证了学到的特征包含语义类别信息,四元损失函数则保证了学到的特征可用于相似性度量。因此,最后得到的特征表示非常通用,可用于图像的检索、分类、聚类和标注等多个图像理解任务。在真实的弱标签街拍时尚数据集上对QuadNet进行评估以及对街头时尚趋势变化进行分析,充分验证了基于近邻约束嵌入学习的图像检索方法的有效性。  (2)本文提出了一种新的基于多领域嵌入学习的跨媒体检索方法,针对时尚媒体数据的多模态、多领域特点,将包含不同模态、不同领域的时尚数据项映射到一个统一的特征空间,其中度量距离可以用于数据检索与分析。不同于当前大多数跨媒体检索方法只考虑异质相似性的缺点,我们的跨媒体检索方法同时考虑了同质相似性和异质相似性,具体分为两个步骤:1)学习图像模态的同质相似性,将图像从原始的像素空问转化到一个优化的视觉空间;2)学习图像和文本模态的异质相似性,将图像和文本映射到一个统一的特征表示空间。在第一个步骤中,设计的基于深度卷积神经网络的五元网络和基于五元组的排序损失函数不仅捕获了同质相似性,还融入了时尚媒体数据的多领域属性。在第二个步骤中,设计的图像-文本双分支神经网络和跨视图相似排序损失函数用来捕获异质相似性。在一个新的多模态、多领域的时尚跨媒体数据集对提出的跨媒体检索方法进行评估以及对时尚品牌潮流变化进行分析,充分验证了我们方法的有效性。  (3)本文提出了一种新的基于关键点的跨场景物品检索方法,实现时尚物品在不同场景之间的图像检索模型。该检索框架主要由识别模块和检索模块组成:识别模块实现对查询图片中的物品进行语义识别,其中的物体检测模型负责对查询图片中的物品进行物体检测,属性识别模型则负责识别出物品的语义属性;检索模块实现快速地从图像库中检索出相似的物品。以眼镜时尚物品为例,为完成眼镜物体的检测,设计了描述眼镜的关键点方案并实现了基于关键点的眼镜检测模型;为准确地识别眼镜的属性,设计了多种有效的特征提取方式,包括基于形状的特征提取、基于颜色的特征提取和基于区域的特征提取;为从图像库中快速地检索出眼镜物品,在检索模块设计了一个由粗到细的搜索策略。最后,在新收集的多场景眼镜数据集上的实验充分验证了我们的物体检测模型、属性识别模型和整个检索框架的有效性。
其他文献
本文针对当前电信企业广泛推崇的以客户为中心的营销,结合eTOM规范对电信营销流程的划分,总结了电信企业对营销管理需求,设计了电信营销过程支持系统的体系结构。文章充分利用经
文本分类问题是指自动地将文本按照预定义的类别体系划分到正确的类别中,它是智能信息处理领域中一个重要的研究方向。随着信息技术的发展,特别是20世纪90年代基于机器学习的文
  本文主要研究三角网格建模、点云建模及其应用,提出了基于点云的三维三角网格划分算法,它不需同二维划分方法一样,对点云对应的自由曲面分片投影,而利用网格扩展、边界环分裂
本文综述了信用评级系统的现状和未来发展趋势,阐述了建立信用评级体系在我国的迫切性,进一步提出了信用评级软件开发是当前我国个人、企业及金融系统所面临的重要课题之一。
本文对知识管理的综合办公信息管理系统进行了研究。文章通过实际应用系统若干功能模块的研究开发经历,较深入地分析了知识管理与OA的融合及其实现的技术方案。又针对实际系统
在生物特征识别技术中,人脸识别是一个最活跃的研究领域之一。虽然人脸识别的准确性要低于虹膜、指纹的识别,但由于它的无侵害性和对用户最自然、最直观的方式,使人脸识别成为最
本文重点研究福建省公路局1:50万彩色公路地图的分割算法,实现地图的公路层、水系层、文字层和背景层的分层,准确提取公路形状,为后面制作数字地图提供精确、完整的数据源。
对等计算(简称P2P),自2000年中期以来迅速成为计算机研究界和工业界关注的热点。在对等计算系统(简称P2P系统)中,每个节点都拥有对等的功能与责任,即每个节点既可以充当服务器向
随着通信技术的不断发展,通信规范的日益完善,为了适合各个国家的不同要求,S1240程控交换机根据目前两个主流国际通信组织机构ITU-T和ANSI的标准研发了多个版本。版本数量的众多
现实世界中存在着大量的复杂网络,例如朋友网络、社会网络、技术网络、生物学网络、网络中页面之间相互链接而形成的网络、论文合著网络、文献引用网络等等。许多研究表明,复杂