【摘 要】
：
多元连接是数据分析最常用的操作之一,MapReduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到MapReduce中;MapRed
【机 构】
：
东北大学计算机科学与工程学院,东北大学软件学院
【基金项目】
：
国家自然科学基金重大项目（61433008）,国家自然科学基金青年基金项目（61202088）,国家博士后科学基金面上项目（2013M540232）,中央高校基本科研业务费专项基金项目（N120817001）,教育部高等学校博士学科点博导基金项目（20120042110028）
论文部分内容阅读
多元连接是数据分析最常用的操作之一,MapReduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到MapReduce中;MapReduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接运算的主要代价,首先以降低I/O代价为目标提出一种启发式算法确定多元连接执行顺序,并在此基础上进一步优化,最后针对MapReduce设计一种并行执行策略提高多元连接的整体性能.针对后者,考虑到负载均衡能够有效减少MapReduce的"木桶效应",通过任务公平分配算法提高连接内部的并行度,并在此基础上给出Reduce任务个数的确定方法.最后,通过实验验证本文提出的执行计划确定方法以及负载均衡算法的优化效果.该研究对大数据环境下MapReduce多元连接的应用具有指导意义,可以优化如OLAP分析中的星型连接、社交网络中社团发现的链式连接等应用的性能.
其他文献
在Schmidt的注意理论基础上,采用实验组对照组前后测设计,考察外语环境下一所独立学院英语专业220名学生,其道歉言语行为语用能力发展的课堂教学效果及影响。通过SPSS软件分
工业设计是一种追求创新的活动,创意在设计活动过程中扮演着相当重要的角色,而偏见思维是创新的大敌,偏见思维可以分为四种表现形式,即经验偏见、利益偏见、位置偏见以及文化
该文从语用预设的角度对商业广告进行了语用分析,结合广告实例探究了商业广告中语用预设的实际应用,研究结果表明语用预设在商业广告语篇中应用广泛,且起到了不可替代的作用,
Nowadays, students in secondary vocational schools are required to have better English competence. How to improve English teaching quality in secondary vocation
针对现有水印算法大多无法准确定位并恢复被篡改区域的问题,兼顾水印嵌入容量和安全性,提出了一种安全的变容量恢复水印算法.该算法首先将原始图像分成纹理块和平滑块,纹理块
智能网联汽车C-V2X技术正处在探索普及的过程中,对这一技术进行应用市场的展望,有助于C-V2X技术在新时期市场环境中的创新发展。本文首先对C-V2X技术的基本状况进行了研究分
The present study explored the features and the effectiveness of teachers’ oral CF in the classrooms of Teaching English as a Foreign Language(TEFL) for minori
This thesis is about the research on adjustment of East Asian students in the pursuit of UK master degree by Wenli Wu and Michael Hammond* A Division of Communi
近年来,我国的经济发展迅速,随着我国新时期社会经济的 迅猛发展,电气自动化技术在各个领域得到了广泛的应用,有力地 促进我国市场经济体制的转型。电气自动化日益普及与在各
基于区间分析和免疫学原理,探讨非线性区间数规划问题解的概念和性质,以及求解的免疫优化方法和算法的理论基础.首先,基于该问题的最优值区间,给予最优解概念;研究区间值优化