基于访问特性的数据访问系统设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:F8251256
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球互联网数据体量的快速增长,应用程序性能对数据访问的要求越来越高。数据访问系统是用户访问、操作和共享数据信息的中间件系统,其数据访问性能直接影响了应用程序的响应时间和用户体验。数据访问系统作为应用程序的重要组成部分,在国内外均有一些相关产品,主要分为两类,一类是非通用的数据访问系统,受特定类型数据的限制,其适用的应用场景通常有限;另一类是通用的数据访问系统,可以在各种应用场景中使用。但由于二者均没有考虑用户的数据访问特点,对所有应用场景采用统一的数据模式,无法得到最优的数据访问性能。  本文针对上述问题,设计并实现了一种基于访问特性的数据访问系统。它能够利用用户的数据操作日志,挖掘出用户数据访问模式,分析应用程序的数据访问特性,预测用户下一步的数据访问行为,能够预取用户将要访问的数据,减少系统响应时间。基于访问特性的数据访问系统有助于提高数据访问系统性能,提升应用程序用户体验。  本文的主要贡献有以下四点:  1)提出一种面向单个序列的数据访问模式提取算法  针对当前模式挖掘算法不能提取单个访问行为序列中数据访问模式的问题,提出了一种面向单个序列的数据访问模式提取算法。首先为了优化字符串比对效率,将用户的访问操作序列映射为四进制流。其次将用户访问操作序列切割为指定长度的序列片段,根据最小支持度和序列片段的出现次数判断序列片段是否需要保存。最后,对于保存起来的序列片段,两两做连接操作找出更长的数据模式,直到数据模式的支持度小于指定最小支持度。实验结果表明,本文提出的数据模式挖掘算法不仅能挖掘单个访问行为序列的数据访问模式,而且与同类算法相比时间性能更加优越。  2)提出一种面向数据访问特性模型的建模方法  为了将用户访问日志映射到用户特性模型,本文提出了一种用户访问特性模型的建模方法。该方法从OLTP与OLAP两大类业务特点出发,考虑应用类型、响应时长、访问数据规模、事务类型,查询复杂度,频繁模式,数据集合等七个维度,建立业务特征标签。并在此基础上分析用户访问序列的属性信息,选取数据特征,构建模型将数据特征映射到业务特征标签上。实验结果表明,本文的建模方法有较好的用户分类准确率,达到了根据用户访问特性给用户贴业务特性标签的目的。  3)提出一种基于数据访问特性的快速数据预取方法  针对OLAP与OLTP混合应用场景下数据访问速度不理想的问题,提出了一种快速数据访问方法。首先,基于前文提出的建模方法,每个用户在每个阶段都拥有了自己的特性标签。再加上用户的频繁访问模式及常用操作集合,利用本文的操作预测算法,预测出用户下一操作,提前缓存操作数据,待用户下一操作到来时不必进行查询过程,直接获取数据。实验结果表明,与缓存常用算法LRU、LRU2、LFU算法对比,本文的快速访问方法能有效提高命中率的平均值。  4)设计并实现基于访问特性的数据访问系统  为了验证上述算法的有效性,本文实现了一个基于访问特性的数据访问系统原型。该数据访问系统分为数据访问接口、数据访问日志分析、访问特性分析、快速访问这四个模块。其中用户访问日志分析模块利用数据访问模式提取算法实现数据访问模式挖掘功能,用户访问特性建模块利用用户访问特性模型的建模方法实现其功能,用户访问行为预测模块则利用上述快速数据预取方法实现用户访问预测功能。实验测试表明,和基于LRU的数据访问系统对比,基于访问特性的数据访问系统能够将平均数据访问时间较少21.8%。总的来说,该系统不仅能有效提升平均数据访问速度,而且在OLAP和混合场景下均能明显减小数据访问速度曲线抖动幅度。
其他文献
[摘 要] 如何培养出创新型应用型本科人才,是地方本科院校生存和发展的重要问题,仅依靠第一课堂进行的教学活动是难以完成的。分析了当前地方本科院校第二课堂的发展现状,提出构建基于创新型人才培养的第二课堂教育体系,建立完善的教育培养机制,创新教育方式和手段,从根本上提高学生的学习热情,积极推行素质教育,全面增强学生的各项能力。  [关键词] 地方本科院校;创新型人才;第二课堂;大学生素养  [中图分类
运用中医六经辨证进行体质调理具有可靠性和有效性,在临床实践中要注重对疾病和整体调理的关系和方法进行分析和落实,消除症状并非治病的目标,而是应当将“促使五脏六腑的功
目的 探讨对高血压住院病人采用书面健康教育方式对于提高高血压病人自我护理能力的应用效果.方法 将在本院住院治疗的186例高血压病人作为此次研究的对象,对他们采用书面健
目的观察半夏泻心汤治疗胃痞(寒热错杂型)的临床疗效。方法将本院近年来收治的脾胃病门诊患者共计80例作为研究资料,将全部患者分为两个组别:治疗组(40例)和对照组(4O例),给
2014年10月6日下午两点,北京智新超越教育第六期灵商特训营结营典礼在清华大学液晶大楼4200厅正式举行。伴随着一曲轻快的《成长的幸福》,家长们首先欣赏到的是自己孩子在五
目的 本研究主要是对多囊卵巢综合征性不孕患者应用中医周期疗法进行治疗,对其采取的治疗措施与取得的效果进行分析.方法 将本诊所在近年来收治的多囊卵巢综合征性不孕患者共
介绍了水轮机叶片修复用示教再现型弧焊机械手系统的基本结构、功能及其示教方法 ,并给出了它的插补算法和再现结果 .结果表明 ,该机械手再现精度基本保持在 0 .8mm以内 ,能
为了保护西双版纳宝贵的森林资源,(?)少西双版纳州生产生活对森林资源(?)消耗,国家、云南省和西双版纳州共同(?)修建了勐养煤矿。 勐养煤矿位于昆洛公路旁的勐养镇,(?)景洪
随着时代的进步,通信产业的快速发展,电信网、计算机通信网和有线电视网等三大网络的融合已成必然。“三网”融合不仅指网络的融合,还涉及到技术融合和业务融合等,因此,以视
悠视网6月19日宣布与央视国际签约,获得奥运视频直播权,悠视网CEO李竹表示:“这对我们的收入将有很大的促进,预计今年收入将达到1500万~2000万美元。”据悠视方面介绍,其去年