基于海洋环境的数据挖掘算法研究

来源 :青岛科技大学 | 被引量 : 4次 | 上传用户:liyn000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘是一种面向应用的技术,在营销策划、信用评价和安全分析等领域应用十分广泛。随着数字海洋概念的提出,数据挖掘算法被应用到海洋环境监测中,并成为近几年研究热点。针对海洋环境各指标间存在关系模糊、影响因素不确定及随机性的问题,本文采用模糊C均值聚类算法(FCM)对海洋环境各指标数据进行挖掘,并利用Hadoop平台对该算法进行并行化设计与实现。本文的主要研究内容为:首先,对海洋的监测数值,如:海水的PH值、温度、盐度和溶解氧浓度进行预处理,并对预处理之后的数据用FCM算法聚类。通过对某海域某年上半年的海域数据分析以及对三个海域样本数据的挑拣聚类,结果表明海域数据在时间上和空间上具有积聚特性,并且FCM算法聚类的准确度(89%)比用k-means算法的聚类准确度高。并且通过FCM算法对海洋环境的PH值进行聚类,以区别污染和未被污染的样本,在一定程度上为海水污染预警提供了新的方法。然后,利用MapReduce计算框架对FCM算法进行并行化设计,包括Map、Combine、Reduce和迭代过程。Map过程完成海洋环境样本数据与聚类中心的隶属度的并行化计算;Combine过程对Map的输出进行合并,减轻Reduce过程的负担;Reduce是一个并行化的实现对聚类中心的更新的过程;最后通过判断每次迭代过程的聚类中心的距离差值完成迭代过程的设计。最后,基于Hadoop平台进行FCM算法在海洋环境中的实现与验证。本文选取不同规模的海洋数据样本对以下两种情况进行对比分析:比较在单机环境下串行化的FCM算法与并行化的FCM算法的执行效率;对比并行化的FCM算法在不同节点下的集群加速比和效率。测试结果说明并行化的FCM算法在处理大规模的海洋环境数据方面具有较优越的加速比和扩展性能。
其他文献
RPE在维持视网膜结构和功能上起着重要作用,例如作为光感受器的支持细胞,组成血—视网膜屏障的一部分等。因而RPE功能障碍可以导致某些疾病,如RP、AMD等。1983年,Gouras等进行了R
为了提高N248-P241井的施工效率,在分析井身结构和井眼轨道设计基础上,进行了钻头优选、钻具组合优化、井眼轨迹控制优化和钻井液优选,实现了全井平均机械钻速10.89m/h,达到
手术是治疗喉癌尤其是非早期患者的主要手段。术后局部复发和颈部转移是影响手术疗效的主要原因。本研究是为探讨p53和p16蛋白表达与喉癌的生物学特性之间的关系而设计的。
本课题旨在应用激光温热效应对实验性角膜新生血管(Corneal neovascularization, CoNV)进行治疗,探索角膜新生血管安全、有效的治疗新途径。课题分为两部分: 第一部分 角膜
目的 总结运用胸主动脉覆膜支架腔内修复急诊救治降主动脉破裂的经验和体会。方法 回顾分析2013年5月~2017年3月我科收治降主动脉破裂患者16例,其中胸主动脉夹层动脉瘤破裂14
权利泛化思潮起源于国外,近年来对我国社会经济的发展产生了一定的影响。这种思潮在高校的扩张较为明显,对高校的价值塑造、安全稳定、学风建设等产生了不利影响。高校对权利
目的观察妊娠晚期胎儿及不同年龄段婴幼儿眼外肌及其Pulley系统形态的异同点,分析人类早期眶内眼外肌Pulley系统的发育特点,探讨眶内眼外肌Pulley系统对人类眼球运动及双眼视发
某药品经营企业购进的某药品经鉴定系劣药,根据购进记录显示,该药品尚未售出。有观点认为该行为不能认为为销售行为,而是储存行为,因此,不能适用销售劣药处罚条款。这是典型
目的 观察及探讨中西医结合治疗异位妊娠的临床疗效及护理体会.方法 选取我院于2009年5月至2011年6月接收并诊治的28例未破裂型异位妊娠患者,均结合中西医进行治疗,且患者进
制革含铬革屑的主要成分为胶原蛋白和铬,具有较大的资源化利用价值。国内外对含铬革屑资源化作了大量的工作,提出了氧化法、水解法及结合法等脱铬提取胶原蛋白的技术。为实现