基于MapReduce框架的分布式软K段主曲线算法

来源 :数据采集与处理 | 被引量 : 0次 | 上传用户:ie_down
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的主曲线算法在小规模数据集上能获得良好的效果,但单节点的计算和存储能力都不能满足海量数据主曲线的提取要求,而算法分布式并行化是目前解决该类问题最有效的途径之一。本文提出基于MapReduce框架的分布式软K段主曲线算法(Distributed soft k-segments principal curve,Dis-SKPC)。首先,基于分布式K—Means算法,采用递归粒化方法对数据集进行粒化,以确定粒的大小并保证粒中数据的关联性。然后调用软K段主曲线算法计算每个粒数据的局部主成分线段,并提出用噪声方
其他文献
AlN禁带宽高达6.2ev,具有高的热导率、优异的化学稳定性、高的介电击强度、良好的电子迁移率等优点,广泛应用在基板和封装器件、光电子器件中。一维AlN纳米材料由于纳米效应和高长径比的影响,具有更优异的光电学性能,然而其产率、晶体结构、形貌及性能受合成工艺的影响,限制了其的开发与应用。为此,本文除采用Al粉直接氮化法合成AlN纳米线外,还在Al粉中引入NH4Cl和AlCl3,研究了合成温度、保温时
我国高等职业教育相对西方发达国家的职业教育还很落后,相对于传统的高等教育业说,也仅处于起步阶段。目前,对于高等职业教育的培养目标、办学模式等诸多问题人们认识还不一致,但
大型锻件制造业是国防建设、发展国民经济的关键性行业,也是重大装备制造业的基础及国家能力的重要组成。其产品的级别、生产能力与发展水平已经成为一个国家综合工业水平的
英国和现代美国对瑕疵公司之人格均采取原则承认主义的态度,此系在调和交易之安全性和效率性原则时,偏重考虑效率性原则并贯彻企业维持理念的结果。在我国,并无类似于英美法系的
将5×10^-8~3.2×10^-6(空气中的体积含量)的SO2通入质子交换膜燃料电池(PEMFC)单电池阴极,研究了SO2对PEMFC性能的影响.实验得到的电压-时间(V-t)曲线和极化(V-I)曲线表明,空气中
建设服务型政府是应对全球化趋势的迫切需要,是应对政府自身发展的内在需求。建设服务型政府的有效途径除了以政府为主导全方位深化改革之外,还要提倡公众参与。要充分利用信息化时代的优势,使公众参与的的形式多样化,例如通过加强网络化政治参与,政务微信的公众参与功能就是一个很好的政民互动平台。在信息化飞速发展的今天,新媒体发展态势空前高涨,“两微一端”应运而生,只要所使用的移动端安装了微博使用媒介、微信以及相
1999年对全国学报界来说的确有一件可喜可贺的事情,那就是学校队伍扩大了,原来一批普通高校和成人高校的内部学报跨进了公开出版发行的高校学报行列,这在国家对出版业整顿之际,实
为了尽快适应高等职业技术教育发展的需要,借鉴兄弟院校举办高职教育的成功经验,提高举办高职教育的教学质量和办学水平。在解学祖副院长的带领下,我们组成了由教务处、经贸
以七元瓜环(Q[7])和新型椭圆型改性瓜环——对称四甲基取代六元瓜环(TMeQ[6])为主体,4,4'-联吡啶的盐酸盐(44)以及N,N'-二甲基4,4'-联吡啶的盐酸盐(dm44)为客体的主客体相互作用进行了考