基于节点性能感知的数据仓库并行处理方法

来源 :2012全国高性能计算学术年会 | 被引量 : 0次 | 上传用户:stbruce
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  实时OLAP对数据装载、查询分析的性能具有更高的敏感性,采用多计算节点进行OLAP查询的并行化处理己成为研究热点。本文关注于实时OLAP应用中数据装载和多维查询分析的性能瓶颈,针对目前数据仓库并行化处理在架构复杂性、动态自主调优、数据迁移代价等方面存在的局限性,提出一种对用户透明的、具有自主校准能力的轻量级并行处理方法,通过并行ETL过程将大规模、高维度事实表分布于多个数据节点,并基于多数据节点实现多维查询分析的并行处理。本文基于开源OLAP引擎Mondrian实现,并在一个实时数据仓库商业项目中进行了应用。结果表明,能够有效提高基于大规模、高维度事实表的数据ETL和多维查询性能,同时预测及校准模型能够有效保证数据分割的合理性,避免了目前并行化处理方法中的数据迁移代价。
其他文献
  当前在高性能计算机平台上,大规模、大尺度、长时程数值计算由于浮点计算的舍入误差累积效应,常导致不可信的数值结果。与此同时,多项式函数广泛应用于大规模工程科学计算的
会议
  云计算是一种新兴的计算模式,倡导一切皆服务.云计算由于能够共享分布在世界各地的计算资源,在大规模计算和数据存储中越来越受到重视.云计算是当前IT工业界、学术界研究的
会议
  本文提出了基于词共现和语义分析的网络百科开放分类聚类算法、开放分类层次结构树生成方法以及层次结构树聚类算法。实验结果表明,开放分类层次结构树的准确率较高,利用开
  网络百科信息抽取对于大规模知识库的构建具有重要的意义。属性抽取是信息抽取的一种,属性抽取的两个关键问题是:属性名称的抽取和属性值的抽取。本文提出了基于关联规则挖
  异构计算是高效能计算发展的必然趋势,针对异构计算运行中并行任务和体系结构难匹配问题,提出实现并行任务和体系结构匹配的并行任务分簇方法。本文首先给出效能的概念及异
会议
国务院一九八九年十月二十四日须布《放射性同位素与射线装置放射防护条例》”标志着放射卫生工作已步入法制管理轨道。河北区卫生防病站放射卫生科,紧紧围绕《条例》的实质
第一次见到白羽同志,是1979年初在党中央召开的理论务虚会上。11年后,他以74岁的高龄出任《人民文学》主编,再一次回到中国作协。我比他早几天被派到中国作协工作,恰好党组分
  随着统计分析中数据规模和复杂性不断的增加,高性能计算也开始在金融、经济和管理等统计计算主导的领域中发挥重要的作用。本文将对基于R的统计分析中并行计算技术的发展
  移动互联网和云计算的不断发展和壮大,使得新型网络化应用成为信息技术的热点。为了适应这种发展趋势,需要将当前大量的传统应用进行移植和迁移。面对传统应用,本文针对Linu
  近来,近似重复图像检测已经成为了研究的热点,本文提出了基于bag-of-words和哈希编码的近似重复图像检测方法。首先利用bag-of-words把一副图像表示成一个500维的特征向量,