Spark环境下基于多维布隆过滤器的星型连接算法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:lmjgood520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果
其他文献
针对核磁共振并行成像重建提出了一种联合稀疏性模型,并与新的软阈值函数结合,将有助于提高重建图像质量。首先利用校准数据生成重建核,重建未采样数据点;然后采用联合稀疏性模型和新的软阈值函数,对各线圈图像数据进行处理;最后用改进的凸投影集算法(POCS)对压缩感知核磁共振并行成像进行重建。对于仿真图像和脑部图像,改进算法相比原算法,重建图像归一化均方根误差(nRMSE)在加速比为4时分别减少了23%和9
针对卫星有效载荷配置问题,提出了一种基于差分进化分解的改进多目标优化算法(EMOEA/D-DE)的有效载荷配置模型。该模型将配置问题转化为以卫星数、卫星冗余度为目标的多目标优化问题(MOP),并采用EMOEA/D-DE进行求解。此外,针对随机均匀初始化会导致种群在目标空间分布过于集中的问题,采用与优化目标相结合的随机初始化方法进行改进。实验结果表明,该模型所求解集的平均差异性在0.05以内,分布度
目的研究脑颜面血管瘤综合征的MRI表现,并探讨其诊断脑颜面血管瘤综合征的价值.方法回顾性分析5例脑颜面血管瘤综合征的临床及影像资料.全部病例均有面部三叉神经分布区皮肤