不均匀网格数据流聚类及其追溯系统中应用

来源 :中国石油大学(北京) | 被引量 : 0次 | 上传用户:yxzapricot
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着产品追溯系统的应用推广,追溯数据量急剧增加,追溯数据作为一种典型的数据流具有重要的研究意义和应用价值。数据流挖掘已经成为当前数据挖掘领域研究热点之一,在有限的内存中对数据流快速处理以获得高质量聚类成为数据流挖掘的一个重要方向。基于密度网格的数据流聚类方法计算速度快、可形成任意形状簇,但存在参数难以设置、聚类精度低等不足。针对这些缺点,本文改进基于密度网格数据流聚类算法,并设计实现并行化算法,最后将其应用到追溯系统中。所做工作总结如下:(1)基于D-Stream算法提出结合质心的不均匀网格数据流聚类算法NCDStream。算法首先通过加权平均密度设置自适应参数,并根据网格簇数量动态调整阈值。其次对网格簇边缘的稀疏网格采用不均匀划分,提高聚类精度。然后使用并查集优化网格簇合并,提高聚类效率。最后采用金字塔模型存储时间快照为网格簇演化分析提供依据。实验表明,相比于其他算法,NCD-Stream算法聚类效果更好,执行效率更高。(2)基于NCD-Stream提出面向分布式环境的数据流聚类算法DNCD-Stream。算法将数据空间分成多个网格块并行地进行局部聚类,并判断网格块的边界网格状态进行全局聚类。通过Spark Streaming实现算法,并进行实验。实验表明,随着并行度增加,算法能够在保证聚类质量的同时,有效提高执行效率。(3)将DNCD-Stream算法应用到追溯系统中,设计并实现追溯数据流处理系统。
其他文献
在企业数量不断增加、市场竞争日益激烈的大环境下,项目投资组合的选择对于企业的发展尤为重要。传统的项目投资组合问题多聚焦于投资收益最大化,同时对于项目的收益率也多为
With this paper I aim at showing which developmental approaches proposed by the central government would guide towards economic and social development in the Xi
我国的向日葵种植很广,葵花盘容易获得,但在农业方面,只作为饲料、燃料或当作废弃物扔掉,导致严重的环境污染及资源浪费。向日葵花盘是向日葵产业的主要副产品之一,其酚类等物质的活性一直未引起足够的重视。向日葵花盘中含有的绿原酸活性物质,其具有很多重要的作用:降血糖、降血脂、抗氧化等。因此,从向日葵花盘中提取绿原酸,不仅能够提高向日葵花盘的附加值,还可以避免环境污染、资源浪费,具有一定的经济前景。论文的研
百年大计教育为本,教育兴则国家兴。河南省地处中原,辐射全国。但是,河南省作为一个人口大省,却不是一个教育强省,河南省经济社会建设需要大量的人才,而普通高中担负着为高等
导电水凝胶具有良好的柔韧性和拉伸性,出色的导电性,近年来在可穿戴传感器,人造电子皮肤和软机器人等领域展示出了广阔的应用前景,因而备受研究人员关注。然而,现阶段大多数水凝胶材料往往存在机械性能低,无自愈合性等问题,严重限制了其在可穿戴应变传感器件领域的应用。因而,制造具有优异的韧性和良好自愈合能力的柔性水凝胶传感器仍然是一项巨大的挑战,并具有十分重要的意义。卡拉胶是一种从海洋红藻中提取的亲水性天然多
产品的追溯数据是产品在市场流通过程中所采集的产品交易信息、商家信息、检验信息等各种重要数据。如何对追溯数据进行管理、查询和分析是追溯体系建设最受关注的课题之一。
航天A公司属于技术密集型企业,该企业主要进行航天产品制造。该企业的建立以化工、软件工业、精密制造等为基础最终实现的。航天产品相对复杂,其具备的主要特点包括有:较为复
噪音污染是社会发展过程中的三大公害之一,因此减振降噪材料受到很多研究者的关注。聚氨酯(PU)弹性体作为高分子阻尼材料的一种,因其具有优异的综合性能,受到了很多研究者的青睐。通常来说高性能阻尼材料要求其机械损耗正切角(tanδ)大于0.3,且在tanδ>0.3时的温域范围大于60℃,即为有效阻尼温域。虽然普通的PU很难达到高性能阻尼材料的要求,但是由于聚氨酯的结构具有灵活的可设计性,可以通过对
聚丙撑碳酸酯(PPC)是一种无定形的热塑性脂肪族聚碳酸酯,由CO_2和环氧丙烷共聚而成的交替共聚物。鉴于其具有优良的生物相容性、生物降解性,透明度高,良好的加工性能、优异的气体阻隔性能以及机械柔韧性等优点,现已广泛应用于食品包装材料,生物组织工程、阻隔材料等领域。PPC的研发不仅可以减轻人们对于石油资源的过度依赖性,还可以避免废弃塑料对环境造成的白色污染以及CO_2所产生的温室效应。但是,鉴于PP
真姬菇自上世纪八十年代引入中国后,受到越来越多消费者的青睐,其栽培产量也不断提升,现已成为食用菌产业中不可或缺的一部分。目前,有关真姬菇遗传转化技术的研究还在不断完善,为利用该技术获得转基因菌株提供了有利的前提,也为真姬菇基因功能研究和新品种遗传改良做好技术储备。本研究利用花椰菜病毒35S RNA(Cauliflower mosaic virus 35S RNA,Ca MV35S)基因启动子结合蓖