近年来,由于时尚产业带来的巨大经济价值,人们对时尚分析技术(如服装兼容性建模)的兴趣越来越浓厚。服装在人们的日常生活中是不可或缺的。随着服装的图案、样式、材质等不断推陈出新,它在人们日常生活中起着越来越重要的作用。人们除了对服装的大量需求外,开始追求服装搭配的时尚、大方、得体等。但是,当用户面对海量的服装时,很难挑选并搭配出合理的套装。因此,建立合理有效的自动服装搭配模型,帮助人们找到合适的单品并搭配出合理的套装值得我们关注。事实上,一套服装往往涉及多个互补单品(如上衣、下衣和鞋子),因而一套服装搭配是否得体的关键往往在于这些互补单品之间的兼容程度。由于深度学习技术在表示学习领域取得的显著成功,它已成为现有兼容性建模方法的主要技术途径。针对时尚分析技术在计算机视觉、信息检索和多媒体研究领域的广泛关注以及用户对时尚单品兼容性分析的实际需求,本文主要研究如何有效挖掘单品的多模态信息并有效学习其特征表示,如何探究单品之间的不同属性对兼容性建模的影响以及如何从不同角度捕捉互补单品间的兼容关系等问题,通过设计更为有效的兼容性建模方法来提升整体性能。本文以国家自然基金为依托,以推荐系统中的兼容性建模任务为主线,主要对单品文本模态缺乏与单品之间稀疏的交互关系,不同类别时尚单品属性关联以及互补单品的复杂兼容性建模等问题展开研究。本文的主要工作和创新点包含以下几个方面:(1)本文提出了基于神经网络的多模态互补单品兼容性建模方法。传统的兼容性建模方法主要依赖于视觉特征,而忽略了文本元数据。为了对时尚单品进行全面建模,本文探索了文本元数据和图像之间的内在关系以及多模态信息对兼容性建模的影响。本工作首先设计了一个多重的自编码神经网络通过无缝地探索时尚单品的多模态信息(即视觉模态和文本模态),不仅可以对时尚单品之间(如上衣和下衣,下衣和鞋子)的兼容性进行建模,还可以实现面向多件单品的兼容性建模。考虑到时尚单品(如上衣、下装和鞋子)之间的兼容性可能相当复杂,通常会受到颜色、形状和功能等诸多因素的影响,以及单品搭配之间存在的稀疏关系,为准确地测量单品之间的兼容性,本文进一步构建了一个基于内容的神经网络框架来学习潜在的兼容空间,从而弥补异构空间中不同类别服装的语义鸿沟。与此同时,为了最大限度地利用单品之间兼容性相关的隐式反馈,本工作采用贝叶斯朴素排名框架来探索互补单品之间的搭配偏好。最后,我们提出了一个基于贝叶斯个性化排序的多重自编码神经网络框架,能够对单品之间的隐含偏好以及它们不同模态之间的兼容性关系进行建模。为此,我们构建了一个综合的时尚数据集FashionVC+,主要包含上衣、下衣和鞋子的图像和文本数据。实验结果表明该方法能够对不同模态之间的一致性关系和时尚单品间的隐含偏好进行联合建模,并验证了在兼容性建模中考虑文本模态的优势。(2)提出了端到端的基于注意力机制的兼容性建模方法。给定上衣、下衣以及它们的多模态数据,该模型通过有效学习服装的隐含多模态表示来准确地捕获单品各个方面的属性(如图案、颜色和类别),并以此测量时尚单品之间的兼容性。不同于先前的工作将所有的特征都赋予同等的权重,我们进一步考虑了不同特征(即从神经网络中提取的高级特征)对兼容性建模的不同贡献。特别地,我们设计了端到端的基于多模态信息的深度神经网络,它能够有效学习多模态的特征编码,并对互补类别服装之间的兼容性进行建模。然后,为了区分不同成对特征在兼容性建模中的不同贡献,我们提出了一个特征级注意力模型来自适应地为不同服装的不同特征对分配置信度。结果表明,我们提出的特征级注意力模型能够有效地为不同特征学习相应的置信度,从而提升兼容性建模性能。此外,我们也得到了一些有趣的见解。例如:相似的候选下衣的特征置信度分布是相似的,而不同类别的下衣其置信度差异很大。(3)提出了基于多模态的生成式兼容性建模方法。传统的兼容性建模方法主要利用神经网络学习互补单品之间的潜在兼容空间,并基于各时尚单品在该空间的表示,直接评估单品与单品之间的兼容程度。事实上,互补单品之间的兼容规律,除了通过潜在兼容空间来探索,还可以直接生成单品的互补兼容模板,即通过互补兼容模板刻画单品之间的兼容规律。假设给定一个上衣,本文基于生成对抗网络合成一个与其相容的下衣模板,来描述与该上衣潜在搭配的下衣的兼容规律(特征)。进而,该模板可以作为参考,以促进上衣与下衣之间兼容关系的准确度量。首先,本工作设计了一个具有像素一致性和相容模板正则化项的互补模板生成网络,致力于将给定的上衣多模态信息转换为一个与之兼容的下衣模板。然后,基于此模板,本工作提出了基于多模态的生成式兼容性建模方案,能够同时从单品-单品和辅助的单品-模板角度综合衡量服装之间的相容性。实验结果证明了考虑单品-模板兼容性建模的优势。实验结果表明,虽然生成的模板只能很好地捕获单品的形状和颜色而不是图案,但兼容性建模的性能仍可以得到显著提高。