【摘 要】
：
真实世界中存在很多数据规模大且关联性强的图数据,对其分析和查询能够帮助人们获取巨大价值,而图缓存技术可以有效提高图数据的访问效率和查询效率.本文提出了一种面向大规模数据的图数据预装载缓存策略,采用"基于结点访问日志"和"大度数优先"的两种装载方法,缓存图数据边表的热数据.在图存储系统GolaxyGDB中设计了一个分布式图数据缓存框架,实现了缓存装载、访问、替换和一致性维护策略.实验表明,图数据预装
【机 构】
：
中国科学院计算技术研究所,中国科学院网络数据科学与技术重点实验室,北京100190;中国科学院大学,北京100190
论文部分内容阅读
真实世界中存在很多数据规模大且关联性强的图数据,对其分析和查询能够帮助人们获取巨大价值,而图缓存技术可以有效提高图数据的访问效率和查询效率.本文提出了一种面向大规模数据的图数据预装载缓存策略,采用"基于结点访问日志"和"大度数优先"的两种装载方法,缓存图数据边表的热数据.在图存储系统GolaxyGDB中设计了一个分布式图数据缓存框架,实现了缓存装载、访问、替换和一致性维护策略.实验表明,图数据预装载缓存策略能有效提高图数据复杂查询的效率,满足实际应用的在线访问需求.
其他文献
生物传感和生物芯片已在医疗、环保、食品和医药等方面显示了极其重要的作用，但制造高性能的生物传感和生物芯片实现具体有很大的挑战性。纳米科学和技术的进展极大地促进了研发高性能的生物传感和生物芯片。我们根据传感的需要，应用纳米技术从物理方面调控纳米结构，合成了一、二、三和多层等不同的独特的妈咪结构；同时，利用复合，修饰和独特的化反应改变化学组成，改善传感过程中的热力学和动力学的限制，从而从纳米尺度发展了
全球数据量爆炸式增长,单节点重复数据删除系统已不能满足性能需求,集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的严峻挑战.提出一种基于历史数据信息的一致性哈希路由策略,通过在本地缓存热点数据块指纹,数据路由前先在本地索引,可以大大减少索引消息请求数量,并且采用一致性哈希的路由策略,有效的缓解集群系统中动态扩展存储节点导致的全局数据重删率急剧恶化与
针对时空轨迹大数据广域网分布存储条件下的群体行为模式挖掘问题,本文基于MapReduce和ACO (Ant Colony Optimization)算法提出可在广域网环境分布并行增量执行的DPIA(Distributed&Parallel&Incremental ACO)聚类方法.该方法聚类过程分为历史全量阶段和若干周期增量阶段分段持续执行,通过每个周期的增量数据聚类持续修正已有聚类结果,通过Ma
大规模并行模拟是研究大数据体系结构的重要方法,对大数据应用及众核体系结构的发展有着不可替代的推动作用.然而,目前的模拟技术不能满足大数据体系结构研究的需求,主要体现在模拟速度慢、配置过程复杂、可扩展性差等方面.为了解决此问题,评估面向大数据应用的高通量众核体系结构的性能与功耗,本文提出了面向大数据应用的并行模拟框架——BDSim.该框架基于组件化思想,将功能组件与框架服务单元组成并行功能单元,并可
针对语义知识库构建方式和语义表达模型研究中的不足,在已有工作的基础上,提出一种新的语义知识模型:动态知识网络,在详细阐述模型组成要素的基础上,进一步研究了该模型的知识表示方法.在语义知识模型的指导下,面向开放的网络数据资源,研究了动态知识网络的半自动构建方法,并且以360百科和新闻网页数据为基础进行了实验验证,结果表明所提模型和方法能够有效支持动态知识网络的构建。
随着大数据时代的到来,隐私问题备受关注,用户一方面希望获得新鲜和低延迟的查询结果,另一方面又希望对查询信息进行隐私保护,为此本文提出了一种基于内存的分布式隐私流查询系统,其中,查询可以通过Paillier密码系统进行加密.该系统在shared-nothing架构下支持水平扩展,实现了在内存中对流数据进行分片的并行查询以及基于位图索引的压缩存储.实验证明了该系统的有效性.
Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase不支持非主键索引,导致HBase的数据查询效率较低,难以满足数据实时/准实时查询需求.本文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,包括基于HBase的持久性索引、基于分布式内存的索引热点数据缓存技术和高效的热度累积缓存替换策略,并实现于分层式索引和查询系统HiBase.在
社区发现旨在挖掘社会信息网络的社区结构,是社会计算及其相关研究的基础.随着交互式社会信息网络规模的快速增长,传统的社区发现算法难以满足大规模网络的可扩展分析需求.多层社区发现算法如PMetis、Graclus等虽然可以分析包含数百万节点规模的网络,但是小于1/2的粗化缩减比率以及社会信息网络的幂律分布特性极大地制约着该类算法的性能优势.本文提出了一种基于三角形内点同一社区性粗化策略的多层社区发现算
云存储中的敏感数据需要以加密形式存储以确保其安全,属性基加密(ABE)被广泛用于对加密数据的细粒度共享，然而,ABE中存在三类影响数据机密性的问题:(1)用户可以共享他/她的密钥而不被发现;(2)密钥生成中心(KGC)可以生成带有任意属性集或访问结构的密钥;(3) KGC可以用它的主密钥解密任意的密文这三类问题的存在,使得使用ABE的系统中的数据面临极大的安全挑战提出了一个增强云存储中数据机密性的
随着电力企业信息化的加快,企业内部各种信息系统间的异构数据逐渐增多,如何有效的消除这些异构数据之间的语义冲突成为一个热点问题.本文根据电力数据语义冲突的具体情况,提出了一个冲突检测及消减模型,将电力企业内部的异构数据源进行融合,有效地解决电力企业内部数据源语义冲突问题.使用结果表明,该模型可以有效消解异构数据源之间的语义冲突,为电力企业内部及企业间异构数据的融合和共享提供有力的支持。