面向MapReduce的非对称分片复制连接算法优化技术研究

来源 :第29届中国数据库学术会议 | 被引量 : 0次 | 上传用户:wenpeson
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  连接运算是面向海量数据的复杂分析型任务的核心内容之一,但是目前最具竞争力的分布式并行处理框架MapReduce没有对连接运算提供内在的支持.经分析发现现有的工作无法以既高效又不影响集群负载均衡和容错能力的方式来处理适用面最广的非对称分片复制并行连接算法,因此提出一种基于自适应分片的优化算法AFR-AS.借助自适应分片可以解耦Map任务数与数据集复制代价之间的高度耦合关系.利用自适应分片的动态构造算法,Map任务可以在任务生命周期内处理多个普通分片,从而有效降低任务启动开销以及非对称分片复制连接中的数据广播开销,同时保证了基于普通分片的细粒度负载平衡和容错能力.实验表明,优化技术可以有效提高连接运算性能且具有自适应性.
其他文献
  文章通过分析智能移动平台面临的安全威胁,移动恶意软件的特性,提出了有针对性的动态检测和静态检测方法,结合当前国内Android操作系统应用软件的现状,提出了具体的解决措施
  网络时代,信息的“含金量”和对人类生活的影响力日益彰显。与此同时,公民所拥有的个人信息被他人或非政府组织不正当利用甚至非法窃取的危险性也越来越高。垃圾短信、人肉
  随着云计算的广泛应用,云计算安全问题逐渐凸显出来。文章首先阐述了云计算安全相关概念,并对云计算的安全问题和云计算安全特征进行分析,然后对云计算安全的现状和典型的云
  文章首先介绍了国内工业控制系统的安全现状,接着通过工业控制系统和传统信息系统的对比,结合各类安全加固措施和工业控制系统自身的特点,提出了中国工业控制系统加强安全防
  文章通过静态分析Android系统源代码以及动态监控应用程序安装、执行过程中的签名验证流程,对Android系统的代码签名验证机制进行深入的剖析,发现Android系统仅在应用程序
  文章概述了SDN及OpenFlow技术的起源与发展,分析了OpenFlow技术标准,深入阐述了SDN/OpenFlow技术的原理和现状,同时对未来的技术发展趋势做了预测和分析,并深入讨论和分析了
  树模式查询是XML查询的核心操作,经常出现在XPath语言或XQuery语言描述的查询请求中。由于传统树模式描述能力有限,很多由XQuery语言表示的复杂查询请求很难由单一的树模
  目前针对社会网络的隐私保护虽然进行了广泛的研究,但是仍然存在缺陷和不足.K-自同构隐私保护模型通过构建K-自同构图来防止结点识别攻击,但是在为结点提供隐私保护的同时
  伴随着我国移动终端用户数的不断攀升和互联网的飞速发展,人们对手机等移动终端与互联网进行资源共享的要求越来越迫切,然而基于移动终端的手机银行面临着日益严重的安全威
  地理空间对象通常包含地理空间数据和属性数据,其中地理空间数据一般包括栅格影像和矢量数据.从地理空间应用的视角,地理空间对象是一个整体,地理空间数据和属性数据是不