基于深度神经网络的度量学习改进算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xuyaya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习中常需使用适当的度量算法来计算样本之间的距离或相似性。度量学习能够根据数据的特点自动学习,既为其它算法提供了丰富的理论工具又可以用于解决实际问题。但已有度量学习算法在模型优化和模型泛化能力方面仍然存在不足。针对这一问题,本文基于神经网络开展了度量学习的改进算法研究。
  论文首先介绍了度量学习的相关基本概念,分析了不同的约束构建策略的复杂度,总结了已有的正则项和损失函数,分析了损失函数中样本数量与其性能的关系,总结了度量学习的模型结构。
  论文提出了一种基于神经网络的层级优化度量学习算法。该算法包含两个层级,第一层级借助前置网络从原始数据中抽取关键特征,第二层级借助映射矩阵把关键特征映射到嵌入空间。算法在两个层级中分别采用反向传播算法和严格测地凸优化技术来优化参数,并在余弦相似度的基础上设计了正则项以避免前置网络产生同质关键特征。文中基于标准测试数据集和手写数字数据集进行了仿真验证,在K近邻分类错误率和可视化效果图两个方面与其它经典算法进行了对比实验,说明该算法能够更好地实现数据降维和改善数据分布。
  针对已有算法存在的数据分布不平衡的问题,本文提出了一种基于分形网络的规范化度量学习算法。算法所设计的分形网络包含两条支路,一条支路把同类样本规范化到标准正态分布,另一支路计算每个类别的均值向量。算法综合利用KL散度和蒙特卡洛方法设计损失函数,以计算数据分布之间的差异度和正态分布的均值与方差。论文以CUB200-2011和CARS-196据集为例,在标准化互信息度和召回率两个方面与已有算法进行了对比实验,说明该算法可以有效避免分布不平衡问题,具有更好的泛化能力。
其他文献
车辆之间的通信既要求超可靠低时延,同时又对通信数据速率有较高的要求。毫米波(MillimeterWave,mmWave)在带宽上具有优势且能支持高数据速率通信,因此毫米波相关技术在车联网研究领域受到广泛关注。动态环境和高移动性是车辆通信的主要特点,且位于车辆和路边单元等通信实体上的天线高度相对较低,这三种特性为车联网通信的研究和信道建模增加了挑战性。以射线跟踪为代表的确定性信道建模方法通过计算特定
学位
无人飞行器等低空设备的存在使得低空空域管理规划具有重要的意义,但是低空环境存在着环境复杂,低空目标的“低慢小”特性,现有检测技术复杂等问题,导致低空小目标的检测与位置定位的难度要比高空环境中更高。本文旨在利用移动通信系统对低空小目标进行目标检测及定位,由于移动通信系统采用单接收通道模式的信号接收方式,移动通信信号的连续性提高了通信系统与检测系统融合的难度。因此本文就以上问题着重研究了如何结合移动通
图像采样技术是进行图像压缩、传输与存储等基本处理以及实现图像理解、分类与推理等人类高级认知行为的先决要素。但传统的香农—奈奎斯特采样定理在应对图像分辨率要求日益增长的大数据时代捉襟见肘,而且它不能有效地契合硬件设备的资源配置。因此,人们始终期望能够寻求一种“硬件压缩”的全新图像采样理论,以便能突破传统采样定理的限制,并且可以更合理地利用有限的资源。近年来,新兴的图像压缩采样框架正在逐步地向着这一目
无线传感网络是物联网重要组成部分之一,采用中继技术可以大幅提高传感节点信息传输的可靠性。传统中继协作的无线传感网络假设中继节点消耗自身的能量来协助源节点的信息传输,然而中继节点的电池容量非常有限,这无疑会严重缩减中继节点的“寿命”,导致中继协作的传感网络无法正常工作。因此,在保障基本通信服务质量的前提下,如何低成本的为中继节点稳定且持续地提供能量显得尤为重要。射频无线能量传输(Wireless P
随着全光网的发展,可编程波长选择开关(WSS)作为光交换节点中新一代可重构光分插复用器(ROADM)与光交叉连接器(OXC)的核心光学器件之一,具有波长无关、方向无关、竞争无关、灵活格栅等丰富的全光信号处理功能。具备高端口数的WSS可以极大地降低全光网中多维光节点的建造、运行和维护成本以及系统组成复杂性,此外WSS的精细光谱操控能力可大幅度提升光节点的网络扩展功能和组网灵活性。目前商用WSS主流端
电力负荷预测是指根据历史数据来探究电力负荷系统的发展变化规律对未来负荷值的影响,负荷预测影响着电网的规划、调度以及安全运行。准确的电力负荷预测是保证电力供需平衡的基础,为整个电力系统的规划和电力公司的经营决策提供了依据。短期负荷预测是电力负荷预测的一种,由于短期负荷受到气候变化、节假日等因素的影响,使得收集得到的负荷数据呈现出复杂的非线性特征,增加了预测的难度。  本文首先分析了负荷时间序列的混沌
学位
生活中的每个人经常会因为一些外在因素或者个人原因而产生一些不好的情绪,比如沮丧、伤痛、害怕、恼怒、哀伤、忧郁等等,心理学家将这些坏情绪总称为负性情绪。此类情绪是消极的,对大学生群体尤其如此,因为这会影响大学生的学习与工作,甚至严重影响人的身心发展。故而采取有效手段来调节负性情绪已经成为当下关心大学生身心健康的一大积极有效的措施。近年来随着运动心理学的研究发现,适当的体育锻炼对改善负性情绪能起到积极
学位
高铁站台行人检测是高速铁路运维和保障的一项关键技术,对保证高速铁路运行的安全起着至关重要的作用。然而高铁站台的人流量大、行人分布密集,行人尺度变化大,相互遮挡严重,导致现有的目标检测方法存在精度低、漏检率高的问题。为此,本文提出基于深度卷积网络的高铁站台密集行人检测算法研究的课题,从高铁站台行人数据集构建、小尺度和遮挡检测算法设计等方面,开展高铁站台密集行人检测技术研究,对提升高铁站台密集行人检测
学位
近年来,微纳米级柔性电子器件的制造技术取得了巨大的进步。静电纺丝是柔性电子制造中的重要的图案化方法,在柔性电子薄膜晶体管沟道等制造中有着重要的应用。然而,静电纺丝过程涉及高度的非线性和不确定性,受外部噪声影响大,这些因素都对系统动力学的建模和控制提出了挑战。  本文主要从以下三方面,对基于泵流量调节的静电纺丝射流直径动力学建模和反馈控制进行了研究。  1)系统搭建方面,搭建了基于泵流量调节的静电纺
学位
自Web2.0革命以来,“回声室效应”这一概念的使用迅速兴起,被广泛应用于社会学中的同质性、心理学中的认知失调、以及传播学中的选择性接触等综合社会科学理论研究中。新兴社交媒体为了增强用户流量、提高用户黏性,根据用户的喜好推送或推荐与用户观点相似的内容,使得个体观点总能听见与自己意见相似的回应,自身观点、意见被不断强化,易于导致回声室效应的出现。在新兴信息运动方式下,探究舆论演化中回声室效应的内在机
学位