基于MapReduce的预处理高效Skyline算法

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:liuchun9876
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现有基于MapReduce的算法不能高效地解决大数据的Skyline查询问题。针对这种情况,提出一种高效的预处理Skyline查询算法MRFS(MapReduce based Filter Skyline),对大数据集进行预处理,提取支配能力较强的小点集组成比较点集,在算法开始前用比较点集对原始数据集进行过滤,排除掉一大部分不能成为Skyline结果集的数据对象;再对过滤后的数据集在Map阶段并行计算出局部Skyline集;最后合并到一个Reduce任务,得到最终的Skyline结果集。在不同数据分布下对该算法进行系统实验,结果表明算法比现有的算法在时间效率上提高了20%~30%。
其他文献
目的总结集中、大量体检中流程管理的应用效果。方法医院体检中心2016年10月-12月实施全民健康体检从组织管理、优化流程、体检效果评价。结果有效协调规范了整个体检工作过
本文调查了1500名陆军士兵的视觉反应(判断)时,数字记忆广度.SCL-90、CMI量表等心理指标.结果表明,士兵的SCL-90和CMI与中国青年人常模一致,SCL-90与CMI的得分值高度相关(r=0
俄罗斯的进口替代与经济危机密切相关,2014年乌克兰危机后,俄罗斯连续两年出台了反危机计划,试图使进口替代不仅成为反危机计划的一部分,而且成为解决俄罗斯经济结构性矛盾和
目的:是观察利胆排石汤治疗肝胆湿热型胆结石的临床疗效,并从理论和临床研究两个方面探讨利胆排石汤治疗肝胆湿热型胆结石的机制。方法:临床选择符合纳入标准的患者60例,随机
针对印染行业产生的高磷阻燃整理废水,利用"芬顿氧化+混凝沉淀"工艺进行化学除磷,可有效降低废水的总磷。处理后的阻燃整理废水与高浓度有机废水经过"气浮+UASB"工艺进行生化
研究背景进入知识经济化时代,大学的作用越来越重要,但高校内部管理的一些弊端却在一定程度上阻碍了大学的进一步发展。从上世纪80年代起,针对“专业设置过于狭窄,不同程度地
为比较不同温度不同包装对平菇保鲜的效果,以PP保鲜袋包装平菇和HDPE保鲜袋包装平菇为试验材料,在室温(约10℃)和低温(约1℃)两种不同的贮藏条件下,对平菇感官品质、失重率等
目的探讨普外科护理风险管理方法,分析其临床应用价值。方法选择2012年1月~2013年6月本院普外科收治的急腹症患者80例,将其随机分为两组,每组各40例,观察组实施风险护理管理,
高血压病是心血管系统的常见病、多发病,是一种严重危害人们生命健康的心身疾病,特别是对处于特殊生理阶段的老年人来讲,高血压病更是一大健康杀手.护理实践表明,有的放矢做
高师院校的师范生作为基础教育现代化的师资储备,其教育科研能力不仅关系到自身的专业发展,还对师范院校科研水平的提升起着重要作用,更关系到国家基础教育课程改革的深化。