基于海量数据系统性能优化的若干问题研究

来源 :长春理工大学 | 被引量 : 0次 | 上传用户:deathzdw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本论文针对如何优化海量数据系统性能的问题进行若干方面的研究,提出了基于多因素的缓存替换算法CacheValue以及在数据库查询优化方面提出了基于双半连接的查询优化算法。  缓存价值模型(CacheValue)考虑了缓存替换的四个重要因素:存在时间、使用频率、占用资源大小以及生成复杂度,通过对这些因素进行某种形式的加权计算出缓存的价值,将缓存价值作为缓存替换时的依据。  基于双半连接的查询优化算法是一种应用于分布式数据库中不同节点上的三个及以上关系表进行连接的优化算法,该算法能够减少关系表在连接过程中的通信传输代价,并通过实验与其他两种优化算法进行比较,结果显示本算法具有一定的优越性。
其他文献
工作流技术在软件开发领域得到了广泛的应用,基于工作流开发方式的软件同样需要软件质量控制体系来进行质量控制,而专门针对以工作流技术为开发方式软件的质量控制却鲜有研究。
自上个世纪90年代以来,面向对象的软件开发技术成为软件开发的主流技术,使得基于面向对象的软件复用被视为解决软件危机的一条现实可行的途径。按照复用的不同级别,软件复用
近年来,虚拟化应用场景日益增多,多用户拥有独立逻辑空间、共享后台资源,随着CPU计算资源和网络带宽资源大幅提升,存储资源逐渐成为性能瓶颈。固态盘(SSD)具有高性能、低能耗
学位
面对海量数据,利用图计算或机器学习等具有迭代特征的复杂应用对其进行处理很常见。通过在迭代之间共享缓存数据,典型的分布式内存计算系统如Spark极大地提升了迭代程序处理
互联网的普及和电子商务的迅速发展造成了信息的过载,用户在大量的产品信息中难以找到需要的商品,由此,电子商务推荐系统应运而生。当前,电子商务推荐系统在实际运用中还不成
随着高性能并行系统的发展进步,并行计算的运用越来越受到广泛的重视,在并行计算性能提高需求增长的同时,I/O设备和CPU速度的增长率不匹配成为并行计算性能提高的主要瓶颈,所
随着J2EE技术大规模的应用,EJB技术受到广泛的质疑。EJB技术给J2EE应用开发带来了严重的复杂性和巨大的开销。降低J2EE的复杂性开始成为开发者的主要关注点。目前,在开源社区
随着信息时代的到来,各种电子文本数据急剧增加,如何对庞杂的数据进行有效的管理并快速的获取需要的信息,已成为一项亟待解决的重要课题。文本聚类和文本分类作为一个有效的
随着近年来数据规模的爆炸式增长,数据去重和数据压缩作为削减数据冗余的两种关键技术,受到了更多的关注。和数据去重技术相比,数据压缩技术能够消除更多的数据冗余。在检测