OLAP语义缓存模型研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:lx90
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来大数据与传统行业的联系日益紧密,使得传统行业不断迸发出新的生机,但这也在数据的分析处理和应用方面带来了一些挑战。在大数据分析中,通常使用OLAP(联机分析处理)和聚集查询,与一般的SQL查询相比,这些查询具有更强的语义和上下文关系(如向下钻取和向上汇总)。然而,传统的查询缓存没有充分利用OLAP或聚集查询的特性。因为在有限的内存空间下,它们既不发掘OLAP的语义,也不考虑对数据的压缩,尤其在大数据的环境下。本文提出了一种OLAP语义缓存模型,利用数据立方体中数据单元之间的语义关系来促进缓存中的查询和压缩。在OLAP语义缓存模型中将商立方体等价类作为缓存管理的对象。作为一个缓存模型,本文的主要工作有:1)缓存项是在查询中动态生成的,依据连接等价的原理找到了更新缓存项的方法;2)利用缓存项内部已知的数据单元推导出未知的数据单元;3)依据缓存项与查询项的层号关系设计了合理的索引以提高查询匹配的效率;4)利用集合容斥原理计算缓存项的覆盖能力,作为缓存替换的依据。本模型相对于传统查询缓存的创新之处是:在保留数据单元语义的同时还能够压缩数据。本文分别使用真实数据集与合成数据集,通过变化维度数、元组数以及查询项的倾斜度等参数验证了缓存的性能。通过与传统的基于LRU和LFU替换策略的算法对比表明,在无倾斜的查询中,由于缓存项能保留语义,命中率提高了30%左右;有倾斜的查询中,命中率提高了近40%;在缓存压缩的实验中,缓存压缩率在45%左右。
其他文献
外源DNA导入是创造新种质、培育新品种的一种新途径,通过将外源DNA导入到植物种质系统的细胞,获得突变材料,并筛选出具有某些目的性状的新种质和新品种。本实验室利用改良的
以海南大学英语教学现状为基本背景,提出区域性英语教学向智能化和社会化发展的趋势以及教学资本化科研产业化的思想,着重论述海南区域性英语教学发展战略的可行性、必要性及其
<正>校园是教师工作、学生学习、活动的主要场所,校园安全是学校安全工作的保证.而学校安全工作就是维持正常的教学秩序、提高教育教学质量的关键。为此,我校非常重视校园安
会议
无论是在军事上,还是商业上,红外热成像系统都发挥着重要的作用。近年来红外热成像系统在军事和民用领域得到了迅速的发展。非制冷红外热成像系统,以其价格低、可靠性高、体
为了构建场所,必须先搞清楚场所的内涵以及场所认同的机理。本文就是以此为目标,运用文化研究的概念和方法,对场所和场所认同进行探讨。
近年来,由于石油的溢出和有机化学物质的泄漏导致了全球范围内水污染的频繁出现,使得人类的生产生活和生物的栖息地受到了严重的破坏。因此,如何快速地对油污染水源进行高效
随着自动化技术的不断发展,检测自动化是未来计量发展的方向。近几年,国外主要质量比较仪生产厂家纷纷致力于研制毫克组、克组和公斤组砝码的自动检测机器人,以提高检测效率和检测精度。我国制定了JJG99-2006《砝码检定规程》,该规范有别于原有检定规程和国际建议R111的部分内容。由于国内外检测方法之间的差异,国外的机器人技术并不完全适用于我国的质量计量。为了满足国内规程的要求,本项目研制了一套毫克组砝
火炮身管的检测是整个火炮检测技术中的重要组成部分,无论是在火炮的生产过程中,还是在火炮平时的使用和维护当中,都具有举足轻重的作用,劣质的身管会直接威胁到战士的生命。而传
在分析坚硬岩层特点的基础上,通过降低管前岩体综合抵抗强度,使手掘式顶管施工由传统的操作模式"开挖—顶进"改为新的操作模式"劈裂—凿挖—顶进",提高岩体凿挖施工效率,使得
中央党校各个"主体班"培训课程都重视"主义"和"问题"两个方面。从不同班次来看,培训课程在"主义"认同和"问题"探析方面有不同侧重,这反映了不同培训班次学员在权力体系中的不