基于多维压缩数组的并行Data Cube算法

来源 :第十九届全国数据库学术会议 | 被引量 : 0次 | 上传用户:acecat
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Data Cube计算是数据仓库和联机分析中一个重要的问题。对多维数据模型来说,多维数组是一个很自然的存储结构。如何在并行环境下,从分片的、压缩的多维数组中计算Data Cube是一个需要研究的课题。本文给出了一个多维数组的存储结构和分片索引文件结构,提出了一个基于PipeLine技术的并行Data Cube算法,该算法将对多维数组的排序操作转变为对索引文件的排序操作,减少了排序的工作量,可以快速完成分片间的合并。提出了多维数组下的Run和等价Run的概念,并据此给出了一个分片内的合并算法,大大减少了坐标转换的计算量。
其他文献
本文首先介绍了系统的总体结构及功能要求,指出了三个较难解决的问题,中心部分重点论述了三个问题的解决方案,最后展现了系统的应用现状和将来的扩充设想。
本文针对时间序列搜索算法预测的不足,利用搜索的结果,构造出相应的矩阵,结合比例规则进行预测的算法,从而使预侧由定性向定量迈出了一步,并且时间花费可以人为进行调控,因此是切实可行的,且有较高的应用价值.
本文在windows平台上用dephi语言实现本算法,并在单机上进行对实际数据的测试。由于无法得到以便于测试系统性能的国内电子商务网站实际数据,为此,以山东农业大学网站下一个节点,(202,194,133,8)作为测试对象.在实际数据处理中,发现欲要推荐的用户已访问的网页序列的长度对推荐系统的效果有很大的作用,为了验证推荐系统的的效果,组织大量的学生访问本节点网站.分成训练集和测试集。模拟推荐结果
在铝电解生产过程中计算机控制技术已经普及,例如生产过程控制的自动化、向电解槽中添加氧化铝的自动化等.当前,电解槽系列的电流强度、槽电压及其随时间的变化是控制电解过程的主要参数.因此,实时监视并记录和这些数据的变化是提高控制精度、准确性的基础.但是,随着时间的延续,在计算机存储器中积累了大量数据,由于存储器容量的限制而不得不定期删除.本文利用Microsoft SQL Server2000的Anal
不完全信息数据库是数据库理论的一个重要研究方向.现实世界中不完全信息是普遍存在的.数据库是对客观世界的模拟,必须考虑不完全信息的处理.关系数据库中一般采用空值来表示不完全信息,由于空值的存在,比较运算和逻辑运算的结果可能为真(T)、假(F)和未知(U)三个值,经典的以二值逻辑为基础的关系数据库理论难以适应这种情况.为适应不完全信息的处理,基于二值逻辑的关系演算必须扩充.本文在三值谓词演算系统MFM
信息系统的建模方法可以分为:面向过程的建模、面向数据的建模、面向信息的建模、面向决策的建模和面向对象的建模五种.其中,面向对象的分析方法是利用面向对象的信息建模概念,如实体、关系、属性等,同时运用封装、继承、多态等机制来构造模拟现实系统的方法.面向对象的建模,把系统看成是相互协作的对象,这些对象是结构和行为的封装,都属于某个类,那些类具有某种层次化的结构.系统的所有功能通过对象之间相互发送消息来获
本文所提出的空间数据库原型系统设计定位于成熟的商用空间数据库系统,主要考虑系统的可用性、健壮性、成熟性、数据的规范性等问题.特点:它可实现一套基于GeoDB空间数据模型层次体系.本文主要介绍了GeoDB空间数据库设计与实现。
本文分析了B2B的电子商务模式,提出了电子商务中心的概念,在此基础上,又提出了基于ECC的敏捷供需链模型,并建立了一个基于ECC的敏捷供需链管理系统的体系结构。该体系结构具有集成性、开放性、支持分布式应用和系统的动态可重构性等显著特点,这对于研究与开发各类敏捷供需链管理系统具有一定的指导意义.随着基于ECC的敏捷供需链理论和技术的成熟,基于ECC的敏捷供需链必将有着美好的前景。其中基于ECC的电子
本文以传统关系数据库为基础,提出了对数字图书馆中XML元数据进行存储的一个可行的解决方案。本文的最大贡献是针对实际的查询操作使用了物化视图技术和改进的贪心算法对已有的存储方法进行了优化。目前已经在DB2上实现了本文中提到的主要功能的原型系统,并将在以后的工作中对具体存储模式和算法作进一步的研究和改进.
本文提出了基于距离的邻接单元,并提出一种基于单元划分的聚类算法CDBSCAN。该算法首先将数据空间划分为单元,然后再对数据进行聚类。其主要思想是通过查询点所在的单元及其基于距离的邻接单元来确定点的邻接点,从而可以大大降低搜索的空间。相对于DBSCAN算法,CDBSCAN算法不需要借助索引结构就可以达到较高的执行效率;从基于距离的邻接单元的定义可知,CDBSCAN算法很容易扩展到高维空间。