基于网格划分和LLE的高维数据离群点自适应检测方法

来源 :湖南科技大学学报(自然科学版) | 被引量 : 0次 | 上传用户:dillydally
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对目前高维数据量急剧增加,离群点检测技术精准度低、所需内存大、检测时间长等问题,提出了基于网格划分和局部线性嵌入方法(Locally Linear Embedding, LLE)的高维数据离群点自适应检测方法.根据高维数据的空间维度进行网格划分,设定单元格邻近单元数量,降低运行开销,减少计算时间.采用局部线性嵌入方法(LLE),分析不同组合数据点的局部特性,准确描述高维数据结构,完成高维数据集预处理.采集高维数据集合中小部分重要信息,保证采集结果的准确性,利用MapReduce编程模型,将大任务划分为多个不同的小任务,展开分布式处理.通过网格密度计算离群度,提升检测效率,优先过滤空白网格单元,降低空间开销,减小所需内存,从而实现高维数据离群点自适应检测.实验结果表明:所提方法在不同数据集大小测试中,执行时间更短,检测精确度更加稳定;在维度测试中,所需内存更少.证明所提方法能够有效降低执行时间和内存,提升检测结果的精确度.
其他文献
随着全球经济的快速发展,化石能源危机和环境污染问题已成为阻碍全球经济发展的两大难题,开发利用清洁能源、寻找高效的环境治理办法迫在眉睫。近年来,随着人们生活水平和健康意识的提高,药品及个人护理产品(PPCPs)使用量大大增加,各类抗生素和药物等有机物质在土壤、代谢物、植物中进行累积后进入水体,对生物体和生态环境造成重大威胁,因此PPCPs已被作为新兴污染物而进行广泛研究,但因其生物毒性较高、可生化性
学位
滑移现象的存在对差速转向车辆运动学模型的建立造成困难。为准确分析无人车的差速转向特性,基于大半径转弯前提,建立无人车的二自由度差速转向运动学模型,分析理想情况下内外侧车轮速度差与转弯半径之间的关系。并使用自主研制的四轮轮毂电机驱动农用无人车进行试验,通过高精度霍尔传感器和惯性导航系统测量实车差速转向时的行进速度和行驶路径等参数,分析出存在的滑移现象导致转弯时内外两侧车轮转速差大于车轮处真实速度差,
期刊
四模块可变形机器人具备多种构型与多种转向方式,种类繁杂的构型与运动方式导致分析工作较为复杂。针对因结构与运动复杂产生的巨大的工作量的问题,进行四模块变形机器人转向性能评价指标的相关研究使得在进行构型选择与运动分析时更具有针对性。通过运动学与动力学相关知识,结合机器人结构特点与运动原理,对四模块可变形机器人进行动力学建模,并以此为依据建立完整的四模块可变形机器人转向数学模型。通过分析四模块可变形机器
期刊
石油污染土壤严重且治理困难,就目前修复手段来说生物修复技术最为绿色环保,目前国内外研究热点集中在相关功能基因的丰度及表达,对相关功能基因进行定位,能够为修复过程的阶段方案调整与优化提供理论依据与技术指导。(1)本文首先从天津石油污染土壤中筛选分离出2株高效石油烃降解菌,通过16S r RNA序列分析表明S-1、S-2菌株均为肠杆菌属。采用基于Box-Behnken设计(BBD)的响应面方法(RSM
学位
挥发性有机物严重影响我国环境空气质量,属于重点工业污染源。对于VOCs的去除方法,多种多样,以高级氧化技术为主,多种技术联合使用。其中,光催化氧化技术由于其绿色、环保、无污染而得到广泛的关注。然而,粉末状光催化剂在反应器中很容易形成渠道流,使催化剂不能完全与污染物接触反应,且难以回收利用,极大地抑制该技术在环保领域的应用。本论文选用活性炭纤维(ACF)作为载体,不仅解决了粉末状催化剂的缺点,碳材料
学位
多肽自组装是多肽分子在一系列非共价键力(氢键、疏水作用、静电作用、π-π堆积等)的协同作用下自发形成有序组装体的过程。在不同非共价键力的作用下,多肽可以组装成纳米纤维、胶束、囊泡和纳米管等组装体。由于多肽具有生物相容性好、免疫原性低、穿透性强、易于化学修饰、分子识别等诸多优点,这些组装体在抗菌抗肿瘤、组织工程、生物传感、生物矿化等方面展示出良好的应用前景。作为构成多肽分子的基本单元,氨基酸残基的性
学位
光电生物制氢(BPEC)系统是一种将生物阳极与光电阴极耦合以利用太阳能和生物能进行产氢的新型绿色技术,该系统可以在产电、产氢的同时降解有机污染物。开发带隙合适、光催化性能较优的光阴极催化材料,构建可自发的、高效和具有成本效益的微生物电化学系统仍然是目前研究的重大挑战。本文以剩余污泥为底物,构建了以NiOx/BiVO4/C/Cu2O光阴极和生物阳极组成的BPEC系统,和微生物燃料电池(MFC)与BP
学位
2017年以来,我国石油炼制行业陆续取得排污许可证,这也标志着石化行业排污许可制改革取得阶段性成功。石化行业作为排污许可证改革重点行业之一,在证后及时了解企业证后运行及环保主管部门执法管理现状,挖掘现阶段工作的成果和不足之处,不仅有助于下一阶段的改革,而且对完善行业排污许可制度具有一定的指导意义。本文首先分析美国、日本、瑞典三个国家排污许可证的发展历史、管理方式及执法手段,结合我国排污许可证的发展
学位
随着全球经济的快速发展,由氮、磷等营养物质过剩引起的水体富营养化问题日益严峻。市政污水处理厂作为市政废水脱氮的重要单元,其高能耗、高运营成本迫切要求我们开发低能耗的废水脱氮新工艺。厌氧氨氧化(ANAMMOX)工艺因无需投加有机碳源、无需曝气、污泥产量低、无温室气体N2O产生,被认为是迄今为止最高效经济的废水脱氮工艺。由于实际废水中几乎不含NO2--N,NO2--N的稳定积累成为ANAMMOX工艺应
学位
循环冷却水系统中金属腐蚀防护研究对于广泛的工业生产具有重要的意义。金属腐蚀对于工业生产会产生较为严重的破坏,主要表现在对安全生产和环境的损害,其中微生物腐蚀是腐蚀中占比比较多且较难解决的部分。目前应用广泛、效果明显且经济性较高的金属缓蚀方法主要有机涂层防护法、缓蚀剂添加法等。本文采用有机涂层防护法,首先制备SBA-15、羧基功能化SBA-15和氨基功能化SBA-15作为载体,将溶菌酶和脂肪酶负载于
学位