非均匀数据分布下的MapReduce连接查询算法优化

来源 :计算机科学与探索 | 被引量 : 0次 | 上传用户:vickyvictorias
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce分布式计算框架有助于提升大规模数据连接查询的效率,但当连接属性分布不均匀时,其简单的散列策略容易导致计算节点间负载不均衡,影响作业的整体性能。针对连接查询操作中的数据倾斜问题,研究了MapReduce框架下大规模数据连接查询操作的优化算法。首先对经典的改进重分区连接查询算法进行实验分析,研究了传统MapReduce计算框架下连接查询操作的执行流程,找出了基于MapReduce计算框架的连接查询算法在数据分布不均匀时的性能瓶颈;进而提出了组合分割平衡分区优化策略,设计并实现了基于组合分割平
其他文献
[目的]明确超级稻适宜的施氮量及各生育期追施比例。[方法]采用3种不同施氮量(纯氮165、195、225kg/hm^2)及各生育时期不同施氮比例共9个处理,对超级稻Ⅱ优航1号进行氮肥施用技
在总结江苏薄壳山核桃种植历史的基础上,分析了薄壳山核桃发展的制约因素,结合近年研究结果,提出了江苏薄壳山核桃发展的策略。
摘 要:基于驾驶员面部特征分析,结合图像处理和模式识别技术,进行疲劳驾驶监控系统的设计与实现,以有效减少驾驶员疲劳所造成的交通事故。  关键词:驾驶员面部特征分析;疲劳驾驶;监控系统  疲劳驾驶是驾驶员在驾驶过程中的一种意识不清醒但尚未进入睡眠的非正常状态,通过人脸特征识别来检测驾驶员疲劳驾驶是现阶段的主要研究方向,眼睛及嘴部的特征分析是其中的关键环节。  一、疲劳驾驶监控现状  1、疲劳驾驶监控
摘 要:压力容器设计材料为金属性材料,因此其加工设计过程中势必会使用到热处理技术,这不仅仅可以实现材料金属性能的改善,还可以降低焊接残余应力。尤其当前的化工产业中,医药行业等工业领域对于压力容器的需求量不断增加,对于其性能要求也不断提升,这就需要高度重视压力容器设计过程中热处理技术的管理和控制,以保证压力容器的坚韧性,耐用性,防腐蚀性。文章从这个角度出发,积极探究热处理技术在压力容器设计中的应用。
摘 要:德育目标是通过德育活动可以让受教育者在品德上有良好的规范,达到一定的预期标准。在技工教育中,德育原则是教师对学生进行的德育要求,严格要求学生遵守学校的教育规范。德育在教育中起到重要的作用。文本对德育在技工教育中的地位和作用做出详细的论述。  关键词:德育;技工教育;地位;作用  德育已经成为了教育界的热门话题,根据党中央、国务院对深化教育改革全面推进素质教育的决定。各个院校开始重视德育,并
新课程理念为现今的数学课堂教学标注了新的高度,它更加重视学生“学”的过程,它要求教师以学生的探索求知活动为主线展开并组织教学,而教师仅仅作为一堂课的导演,组织教学活动,实现了课堂以学生为主,让学生通过切身的动手实践,自主探索,同伴互助,组际交流获得牢固的知识与深切的感受。合作学习将逐步成为学生主要的数学学习方式。因此,如何有效地开展小组合作学习是数学教学中教师应该关注的重要问题。  一、合作学习小
摘 要:随着时代的发展,社会主义体制不断地健全和完善,促进了市政工程管理体制的发展和改革。由于城市基础设施建设项目的增加,市政工程施工单位得到了快速的发展。市政工程作为城市建设的基础工程,其施工质量的好坏直接关系着人民群众和社会公共的利益,而施工管理作为市政工程中重要的内容,做好市政工程施工管理工作,可以确保工程施工质量和工程按期完工。但是,在施工管理中,不可避免的会出现各种问题,如果不加以解决,
摘 要:民族身份作为一种心理认同,决定了其在一定条件下变动的可能。这种可能的大小取决于族群市场的竞争大小与自由程度。  关键词:想象;市场;选择  一、民族认同  佘潇枫认为“认同是自我(self)与他者(other)之间的关系的认定,是共同体成员对现实境遇中生存价值的自我确定。” ①在百万年的进化中,人类从简单动物群体演变成复杂的社会组织。依托于人文符号与互动媒介,个体人经历了社会属性替代自然属
针对大班英语精读课堂提问存在的问题,本文提出针对小组的即兴课堂提问、运用讲练方式的课堂提问、延伸至课前及课后的课堂提问和有技巧的课堂提问4种解决方法,以期调动学生
从20世纪80年代开始,我国警察院校就将搏击运动作为一项必修科目,通过搏击战术的运用,能够有效制服犯罪嫌疑分子。而防守反击在搏击技术中发挥着十分重要的作用,除了攻击之外