Zero-shot学习在图像识别中的方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:FY830126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前计算机视觉领域在分类、检测、分割等多个方向实现的显著成就大多是基于监督学习的方式,即要求每种类别需要包含大量的已标注样本。然而随着研究范围的扩大,为每个未训练类别收集大量的标注数据需要耗费大量的时间和人力,因此如何在少量标注类别的条件下,对大量的未标注类别加以利用无疑是一个重要且具有挑战性的课题。参照人类具有仅通过高层描述识别未见物体的能力,zero-shot学习问题由此提出。当给定一系列带有语义描述的已标注数据时,zero-shot学习的目标为从已观测类别中迁移信息作用于未见类别并实现对未见类别的识别。本文研究的内容便是zero-shot学习问题。现有的zero-shot学习方法通常将图像投影到由属性构成的语义嵌入空间中,通过计算投影函数实现类别间的信息迁移。虽然此类方法已经取得了一些进展,但其中仍然存在着一些问题。首先,学习投影函数的方法通常忽略了嵌入空间中类别间的关联信息,且在训练数据和测试数据分布不一致时易产生域偏移。此外,现有的zero-shot学习算法均针对传统的zero-shot学习而提出,即要求测试样本均来源于未见类别,而在测试样本类别来源不受限的广义zero-shot学习场景下,现有算法对未见类别的识别表现则显著下降。本文针对以上问题进行了相应的研究,具体地:(1)针对现有方法忽略嵌入空间的类别关联关系且容易产生域偏移的问题,本文提出一种新的zero-shot学习方法,所述方法通过挖掘并利用语义嵌入空间中更多的结构化关联,将更好地控制嵌入属性空间的结构与约束分类推理做了统一的结合。本文假定来自相似类别的语义表示将被投影到嵌入空间中的相邻位置,而该假定有助于预测不可见类别的分类器。因此,本文提出通过提取输入图像的属性特征构建语义嵌入空间,在语义嵌入空间挖掘语义嵌入关联关系并构建局部线性相关的图结构,再利用语义嵌入空间的结构化限制对已知类别的分类模型作约束,最终可合成未见类别的模型并实现未训练样本类别的有效预测。所述方法在挖掘局部关系的同时保留了语义空间的全局结构,增强了邻域嵌入的影响并可获取更有效的语义信息表示。公开数据集上的实验结果论证了本文提出的方法的有效性,且实验结果表明所提方法可以超出当前国际领先的方法。(2)针对现有zero-shot学习方法在更实际的广义zero-shot场景下表现较差的问题,本文提出将后验概率估计和决策阈值合并到现有的传统zero-shot学习算法中,通过估计测试样本的类别来源解决广义zero-shot识别问题。本文假定已见类别样本的分类器输出均为有下界的,而该假定有助于估计测试样本来源于已见类别的类别包含概率。因此,本文提出通过将广义zero-shot问题定义为在决策边界上对正训练样本输出建模的问题,从而估计已见类别的非归一化后验包含概率,进而对测试样本的类别来源作划分,即预测其来源为已见或未见类别,然后再应用现有的zero-shot学习分类器对测试样本作进一步的区分。本文提出的方法有助于将正类别与已知的负类别区分开来,并可对决策边界进行调整,使未知类不会经常被误分类为已知类。实验结果证实了所提方法的有效性并可增强现有zero-shot学习算法在广义zero-shot学习场景下的性能表现。
其他文献
锂氧电池在过去十年间由于其超高的理论能量密度而受到了广泛的关注,但是其电极上的反应动力学迟缓和不良的副反应严重阻碍了电池性能。在这方面,开发高效的催化剂是解决上述
南水北调工程是利国利民的重大水资源调配工程,在修建水库后,由于鸟类喜欢栖息在水源地附近,又随着人们环保和保护动物的意识增强,建立了自然保护区,使鸟类数量逐渐增多。鸟
充分开发利用城市地下空间是推动城市现代化建设和城市可持续发展的必经之路,基坑开挖往更大更深的方向发展,其面临的工程环境和技术条件日益复杂,基坑施工风险随之日益增大
介电弹性体(Dielectric Elastomer,DE)作为一种新型的柔性智能材料,具有大变形、响应快、高能量密度和价格低等特点,被认为是制作柔性机械结构的理想材料。介电弹性体发电机(
在中国股指期货市场的不断探索与发展以及全球ETF市场的高速发展浪潮之中,配对交易策略在中国ETF和期货市场的应用研究就显得尤为重要。通过将基于距离法和协整法的配对交易
随着我国交通基础建设的深入发展,道路路面在使用过程中逐渐暴露出大量的问题,这正是由于对路面结构使用性能规律的研究不够充分,所以应该进一步对路面进行合理化的设计来控
社会建设是中国特有的概念,其本质是通过社会重组和社会重建,应对现代社会变迁带来的社会风险。现代化发展越快,社会建设越重要。市场和市场经济内嵌于社会之中,市场监管离不
本研究通过厦门大学近海海洋环境科学国家重点实验室的Nu Plasma MC-ICP-MS测定了 2013年南海秋季航次、2014年南海夏季深部航次、2015年西北太平洋春季航次的水样,为南海提
在高速冲击荷载下,由于应力波的传播和反射叠加,将在结构构件中形成拉应力区,导致结构材料在加载面的背面发生动态拉伸破坏,即层裂。水泥基材料抗拉强度低于其抗压强度,更易
英格兰贵族乡村宅邸有着悠久的历史,现今尚存的最古老乡村住宅建筑可追溯至中世纪中期。在漫长的时光长河中,乡村住宅几经风霜洗礼,一砖一瓦均被时代打上了深刻的烙印。作为英格兰民族宝贵的物质遗产,乡村住宅所营造的空间不仅仅是物理空间,也是同时代人们最为重要的生活空间。大厅作为乡村住宅中的公共空间,在领主及其家户的公共生活中占据着重要的位置。以大厅为切入点,通过考察物理空间的变化,我们可以进一步探究同时代人