大数据连接算法分析

来源 :电脑知识与技术:学术交流 | 被引量 : 0次 | 上传用户:climb_climb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据主要有四个典型特征:海量、多样性、高速、易变。连接算法优化是大数据热点问题之一,2010年以来,数据库顶级会议ICDE,Sigmod和VLDB每年都有专门的文章研究基于Map Reduce的连接算法优化。依据连接条件主要可以分为等值连接法、数据倾斜时连接法和任意连接法,分析三种数据连接方法,介绍三种连接算法设计和优化方式,并针对基于Bloom Filter等值连接设计和优化做了和二阶段法和三阶段法的实验分析。两表等值连接,数据量较大时,采用基于Bloom Filter等值连接方式会在一定范围减少算法
其他文献
采用大分子单体法合成了水溶性嵌段高分子颜料分散剂并对其进行了表征。氧化还原引发体系下研究了高分子颜料分散剂的最优合成路线和合成工艺参数,以不具备聚合活性的聚醚类
该文借助信息技术在抛物线教学设计中的案例,阐述了虚拟仿真、动态摸拟,图形计算、网络信息等现代信息技术在数学教学中的作用,揭示了信息技术环境下的数学教学实践探索与价值追
随着网络的发展,网络给人们的学习和生活带来了极大的便利,但随之而来的网络安全问题也越来越引起人们的重视。校园网的安全是一个系统工程,防范不仅是被动的,更要是主动进行
摘要:为了平衡数字图像水印的不可见性和鲁棒性,提出了一种基于Arnold置乱的脊波域数字水印算法。首先在利用Arnold变换对水印信息进行置乱处理,增强其保密性;然后利用脊波变换(Ridgelet transform)的方向敏感性和各项异性的特点,对载体图像进行分块脊波变换;最后将水印信息嵌入图像块的脊波域。实验证明本算法具有较好的不可见性,并且对载体图像进行加噪、JPEG压缩、滤波、剪切等的图像
数字式多基线相位干涉仪具有能被动测向、且测向精度高的优点。为了解决增大最大无模糊角度与提高测向精度之间的矛盾,将会在多基线干涉仪中采用参差基线关系进行测向,这样可
随着重载铁路的发展和运量的提高,和谐大功率机车已成为牵引动力的主力军。配套和谐大功率机车运用整备保养设施,是提升大功率机车运用效率和运用质量的可靠保障。结合重载铁
随着经济的发展、社会的进步和科学研究的深入,要求用计算机解决的问题越来越复杂,规模越来越大。对求解这类问题的算法进行分析具有特别重要的意义,下面通过分别使用分治法
随着环境问题的日益突出,建设项目环境影响评价方法越来越被重视。建设项目环境影响评价本身是一个复杂的系统工程,其涉及的学科范围较为广泛,需要综合分析和评价。本文主要对建
分析了旋挖钻孔灌注桩的适用性与相关施工方法,围绕乌鲁木齐克南高架东延工程阐述了旋挖钻孔灌注桩施工技术的应用,保证了工程的顺利施工,以期为类似工程提供参考。
【正】 目前,随着商品经济的发展和批发体制改革的深入进行,对于如何建立开放的生产资料市场,争论较为激烈,本文仅就进一步办好生产资料贸易中心作一些探讨。(一)建立生产资