【摘 要】
:
为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构
【机 构】
:
国网冀北电力有限公司技能培训中心,华北电力大学控制与计算机工程学院
【基金项目】
:
中央高校基本科研业务费专项资金资助项目(13MS103), 河北省自然科学基金资助项目(F2014502069)
论文部分内容阅读
为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果
其他文献
针对核磁共振并行成像重建提出了一种联合稀疏性模型,并与新的软阈值函数结合,将有助于提高重建图像质量。首先利用校准数据生成重建核,重建未采样数据点;然后采用联合稀疏性模型和新的软阈值函数,对各线圈图像数据进行处理;最后用改进的凸投影集算法(POCS)对压缩感知核磁共振并行成像进行重建。对于仿真图像和脑部图像,改进算法相比原算法,重建图像归一化均方根误差(nRMSE)在加速比为4时分别减少了23%和9
针对卫星有效载荷配置问题,提出了一种基于差分进化分解的改进多目标优化算法(EMOEA/D-DE)的有效载荷配置模型。该模型将配置问题转化为以卫星数、卫星冗余度为目标的多目标优化问题(MOP),并采用EMOEA/D-DE进行求解。此外,针对随机均匀初始化会导致种群在目标空间分布过于集中的问题,采用与优化目标相结合的随机初始化方法进行改进。实验结果表明,该模型所求解集的平均差异性在0.05以内,分布度
目的研究脑颜面血管瘤综合征的MRI表现,并探讨其诊断脑颜面血管瘤综合征的价值.方法回顾性分析5例脑颜面血管瘤综合征的临床及影像资料.全部病例均有面部三叉神经分布区皮肤