面向弱监督数据的跨模态哈希学习研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:bluelee530
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络与人们生活越来越紧密的结合,每个人都成为互联网上信息的生产者,每天有海量的数据在产生,信息检索成为了一个十分重要的课题,人们对于信息检索的需求也不再是单纯的用关键字查找相关文本,而是文本、图片、音频、视频等各种模态的数据互相检索查询,因此跨模态检索成为了信息检索方法研究的热点。跨模态哈希方法由于其额外空间占用低、检索速度快的特点成为了跨模态检索问题的一个优秀解决方案,因此受到越来越多的研究和关注,新的跨模态哈希方法也不断被提出。但是,现在已有的跨模态哈希方法主要还是面临一些问题,比如没有考虑到弱监督数据可能存在的标签噪声问题、数据分布不平衡问题等。本文针对弱监督数据中可能存在的两种问题,结合具体场景设计了不同的跨模态哈希学习方法,跨模态哈希检索中可能存在的两类问题,提升了跨模态哈希在实际检索问题中应用的可能性和广泛性,具体工作如下:(1)由于深度神经网络的发展,高精确率的模型对于模型规模和训练数据规模的需求越来越大,有时候我们需要考虑使用标签并不完全准确的数据对模型进行训练。面向具有标签噪声的数据,我们提出了标签噪声鲁棒的跨模态哈希学习方法(Label noise robust cross-modal hashing,LNRCMH)。LNRCMH方法主要分为两个模块,哈希编码学习模块和标签噪声样本检测模块:首先,LNRCMH方法中设计了基于局部离群点检测算法的噪声标签样本检测方法,通过衡量样本的离群度判断样本被噪声污染的可能性高低,再根据此数值对训练样本对加权,通过降低噪声样本在模型训练中所占权重的方法,提升模型面对标签噪声的鲁棒性;其次,LNRCMH方法通过两个神经网络学习样本不同模态的特征,并将特征进行二值化处理,得到哈希编码。最后,在两个数据集上的实验证明了提出的LNRCMH的有效性。(2)自然界中存在的数据分布大都并非均匀分布,而是服从长尾分布的,但是目前存在的跨模态哈希方法都是默认样本的均匀分布。针对长尾分布的数据,我们提出了面向长尾分布数据的元跨模态哈希学习方法(Meta cross-modal hashing,Meta CMH)。该方法通过元嵌入的方法,将深度神经网络学习到的头部类别抽象成原型,再通过线性组合的方式得到记忆特征,通过直接学习到的深度特征与记忆特征的加权组合,我们提高了样本个数较少的尾部类别的特征提取效果,而且同时解决了尾部类别的少样本学习问题,提升了跨模态哈希学习方法在面对不平衡分布数据时的检索效果。最后,在两个数据集上的实验也证明了提出的Meta CMH的有效性。
其他文献
第四次工业革命的到来带领人类全方位进入智能时代,对现有海量、高维度、多样性数据的检索提出了更顺应时代发展的新要求。跨模态检索关注不同模态数据间的直接匹配,探索不同模态数据间的深层语义关联。然而由于多模态数据存在严重的“语义鸿沟”和“异构鸿沟”挑战,跨模态检索近年来逐渐成为研究热点,其中的二值化表示学习更是凭借存储成本低和查询速度快的优势,比其他方法取得了更显著的进步。以哈希和量化为代表的紧凑二值化
学位
金属在强动载荷下的损伤演化动力学问题备受军工航天、重型机械等工程技术领域的关注。材料的动态损伤行为涉及从微观到宏观的跨尺度过程,持续时间极短,包含弹塑性变形、相变、冲击波传播以及微孔洞演化等非线性作用。澄清影响损伤演化历程的微介观因素及规律,对深刻理解材料动态损伤至关重要。因此,有必要开展金属动态损伤行为及关键物理机理的科学研究,为涉及材料动态破坏问题的材料及结构的工程应用提供理论基础和技术储备。
学位
当前,部分国有企业人力资源管理和激励机制仍面临一些问题和挑战,需要及时采取有效策略以优化国有企业的人力资源激励机制。本文首先对国有企业激励机制概述,包括定义、类型、实施的必要性。笔者分析发现,国有企业激励机制存在着一些显著的问题,包括缺乏公正、公平的薪酬激励,过度依赖物质激励,缺乏长期的职业发展和学习机会,员工参与度低以及工作环境和企业文化不佳等。然后针对这些问题,提出了一系列激励策略,旨在优化国
期刊
复杂网络是由大量节点和节点之间错综复杂的关系共同构成的网络,其具有自组织、自相似、吸引子、小世界、无标度中部分或全部的性质。在复杂网络中,与大多数其他节点相比,一些具有高度影响力的特殊节点在网络的结构和功能中起着举足轻重的作用。因此,在网络中寻找重要节点的研究应运而生。基于上述背景,本研究分别从寻找单个核心领导者和寻找一组关键传播者的视角出发,建立了节点重要性评估和免疫策略之间的关系,探讨了两个方
学位
磨损与腐蚀是机械零部件最常见的表面失效形式,是表面工程技术领域最值得关注的研究对象。由磨损与腐蚀导致机械零件的损坏严重影响机械设备整体的使用寿命,造成了极大的经济损失。表面失效与材料的表面特性密切相关,因此,表面改性是提高工程构件使用寿命和安全可靠性的有效途径。如今,表面硬化、热处理、表面涂层等多种工艺被用来改善材料表面性能。由于可以提供更好的外观和卓越的性能,表面涂层已经被广泛接受并成为重要的改
学位
众包技术是伴随着互联网的普及而出现的新型工作模式,即外包工作给互联网工人。随着机器学习技术的发展,标注数据集的缺乏日益成为性能瓶颈。传统的专家标注数据方式耗时费力,众包以其廉价、快速的特点成为标注海量数据集几乎唯一可行的方法。然而由于众包工人和任务的缺陷,结果中往往带有噪声,如何从嘈杂的众包结果中挖掘出高质量的数据成为研究热点。目前的众包研究主要关注质量控制和成本控制问题,而完善的工人与任务模型是
学位
<正>尽管当下的小学数学教学制度已经完善,但是随着对教学要求的不断提高,当下对小学数学教育也提出更高的要求。随着科学技术融入小学数学教学课堂,演变出的教学方法层出不穷,其中情景教育对小学数学课堂有更好的促进作用。为了进一步提高小学数学课堂教学效果,本文将对目前情景教学存在的问题进行挖掘,通过分析情景教学的特点和作用,探讨如何在科技发展环境下开展小学数学教学与情景教育的融合。
期刊
<正>党的二十大报告擘画了以中国式现代化全面推进中华民族伟大复兴的宏伟蓝图,是新时代全面建设社会主义现代化国家的理论指南和行动纲领。税收事业是党和国家事业的重要组成部分,税收现代化是中国式现代化的重要内容。全国税务系统深入学习宣传贯彻党的二十大精神,将税收现代化置于中国式现代化的理论和实践发展中进行认真思考、积极研究、建言献策,主动探索如何更好发挥税收职能作用服务中国式现代化。
期刊
小学语文教学应与学生的生活相联系旨在开扩学生的视野,提高学习语文的兴趣。本文将分析生活对语文教学的意义并探讨如何实现小学语文教学的生活化以此提高语文教学的教学质量。
期刊
已有文献较少从创新效率的无效性角度关注创新激励政策的作用。随着国家创新激励政策实施力度不断加大,强化政策实施精准性与有效性已成为提高企业创新系统整体效能的重要支点。基于中国A股上市公司面板数据,运用DEA两阶段模型从企业创新无效性的视角剖析典型创新激励政策——高新技术企业优惠税率政策对处于不同生命周期阶段的企业创新无效性的影响与作用机制。分组描述性统计结果显示,成熟期企业所受税收优惠、企业规模和员
期刊