基于局部保持的深度聚类研究

来源 :兰州大学 | 被引量 : 1次 | 上传用户:goddragon007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聚类在机器学习和模式识别领域被广泛地研究,其以无监督的方式将数据按照相似性划分为不同的类别.特征学习是聚类任务中一个关键步骤,旨在将原始高维数据映射到低维的特征表示,同时保留数据的重要信息,使得聚类性能实现显著的提升.随着深度学习的兴起,深度神经网络凭借其强大的特征表示能力促进了深度聚类任务的发展.然而,现存的大部分深度聚类算法在特征学习的过程中忽略了特征之间的局部连接关系,使得原始数据到特征低维映射的过程中破坏了特征空间的本征结构,从而影响了聚类的性能.为了解决这一问题,本文分别针对两个先进的深度聚类算法进行基于局部结构保持的改进,提出利用局部保持正则项来约束深度特征学习,通过考虑特征之间的局部连接关系保持特征空间的本征结构,从而实现聚类性能的有效提升.具体来说,本文提出的改进算法分别为:(1)基于局部保持的深度子空间聚类算法:首先将图像数据输入深度卷积自编码器进行预训练,学习数据潜在的初始特征;然后利用预训练特征学习一个代表特征之间相似性的初始亲和图矩阵,并将其作为网络微调训练中特征的先验图结构信息;在微调训练中,该算法在预训练深度自编码器模型的基础上,加入一层基于数据自表达属性构造的全连接层网络,即自表达层,用于学习特征之间表示关系的自表达矩阵.该算法设计了一个新颖的损失函数对整个模型进行微调训练,在这个损失函数中,除了必要的深度自编码器的重构损失以外,还加入了一个局部保持损失函数对特征进行结构化约束,在网络进行微调的过程中,这个局部保持损失函数保持了预训练特征空间到微调特征空间的本征结构,改善了自表达层学习特征表示矩阵的质量,最终利用该矩阵构造亲和图并将其应用于谱聚类算法,可以有效地提升深度聚类任务的性能.(2)基于局部保持的深度嵌入聚类算法:该算法可以实现聚类任务与基于局部结构保持的特征学习在同一个深度学习框架中进行端对端的训练,同时实现深度特征学习与聚类任务.该算法首先利用逐层预训练策略预训练一个深度自编码器,分别得到网络的初始参数、潜在的预训练特征,并应用k-means算法得到初始聚类中心;然后将深度编码器作为深度特征学习的工具,利用最小化聚类软分配函数和辅助分配函数的KL散度构造聚类损失函数,并基于保持特征之间的局部连接关系加入一个局部保持正则项,在两个损失函数的共同作用下对深度模型进行微调训练,同时得到优化的特征以及聚类结果.本文首先介绍深度特征学习与聚类任务的研究背景和重要意义,分析典型的深度聚类算法的框架模型;然后,本文提出两个基于局部保持的深度聚类算法,分别对局部结构保持理论、数据的自表达属性、以及基于KL散度的聚类损失函数进行深入的推导,对算法的网络结构以及训练过程进行总结;最后本文在相关的数据集上与先进的聚类算法进行实验对比,证明了本文提出算法的有效性.
其他文献
随着中国市场经济的进一步发展,直销作为一种具有独特优势的模式,在激烈的市场竞争中被不少企业所采用。对于直销企业来说,“人”和“产品”这两个要素至关重要,是企业能否生
在自然和工业产品中,很多物质和产品都是呈粒子状态。粒子系的辐射传热特性在大气科学与环境、遥感和核能等方面都有重要的应用。很多应用中应用的都是密集粒子系,并且粒子的
煤基合成气-氧-水蒸气燃烧方式的近零排放系统(OCCSS)是同时实现高发电效率和CO2的近零排放的有效方法之一。OCCSS系统中煤基合成气的燃烧具有高温、高压、高水蒸气浓度与高氧
汇率一直是一个国家衡量国内外经济金融波动的关键经济指标,它不仅是国家间经济竞争的指标,也是彼此受竞争货币价值制约的商业关系指标。以往,人民币汇率走势更多的受政策影
套建增层改造已成为土木工程领域所关注的一个热点问题,目前国内外已开展了一定数量的套建增层改造工程实践及理论研究。本文针对已提出的一种新型的以预应力型钢混凝土梁作
大功率汽轮机组的研制对实现节能减排的国家战略目标以及缓解能源危机意义非凡,而高性能先进叶片的设计和采用则是汽轮机组高效运行的必要手段。对此,本文在某大功率汽轮机组
黄曲霉毒素B1(AFB1)是在污染的食品和饲料中最常见的真菌毒素,可以对人和动物产生肝毒性、基因毒性以及免疫抑制等危害。硒是人和动物生长所必需的微量元素,具有抗癌、抗氧化
产业集聚是指一些性质相似的企业在空间上集聚在一起,研究产业集聚的理论有很多,在“中心-外围”模型中,处于中心地区的产业,会由于优势的积累而使得中心地区产业集聚度不断
华北落叶松(Larixprincipis-rupprechtii Mayr)是华北暖温带湿润半湿润气候区的代表性树种,在水源涵养和水土保持等方面发挥着积极的作用。为了探究华北落叶松天然林的最大邻
工业革命以来,世界各国取得了无数的科技成就,但也随之产生了人口爆炸、资源匾乏、环境污染等一系列问题。进入21世纪,提高资源利用率、节能环保已成为人与自然可持续发展的