分布式溯源信息存储系统的研究与实现

来源 :电子科技大学 | 被引量 : 7次 | 上传用户:accphailan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算与大数据技术的迅速发展和应用,海量数据的存储和管理问题成为人们关注的焦点,对数据存储的灵活性、可扩展性以及并发性等都提出了更高的要求。众多的互联网应用使得多样化的非结构化数据大量地产生,而传统的关系型数据库使用二维表来描述数据及数据之间的关系,因此它不适宜用于存储灵活多变的非结构化数据。为满足这些需求,许多新的存储设备和存储技术应运而生,例如SSD、NoSql、分布式存储技术等,以适应非结构化数据应用场景,提高存储和读写效率并尽量降低存储成本。面对海量的数据,人们通常会关心某些数据的生命周期,例如它是何时被创建的、被哪些用户使用过、存在多少副本等,这些信息对于数据管理、系统安全维护等来说有着十分重要的意义,通常也被称为溯源信息。溯源信息描述了一个对象的历史运动轨迹和动态衍生过程以及对象之间相互作用和推进的关系,随着时间的推移,这些数据越来越庞大,对象之间的关系变得越来越复杂,因此如何有效地描述和存储海量的溯源信息使得用户可以简单高效地对其进行存取,便是本文研究的核心。针对海量溯源信息的存储问题,本文设计和实现了一个高性能溯源信息存储系统DBPS(Double Buffer Provenance Store)。DBPS根据溯源信息的特点,在基于中心节点的分布式体系架构基础上采取了多层次的存储架构,包括缓存层和持久化存储层。DBPS在缓存层采用了读写分离的双缓存架构,设计了特定于溯源信息的数据存储结构和索引,对溯源信息具有感知能力,在持久化存储层它采用key-value数据库作为底层的持久化存储引擎,在提高数据的读写效率同时降低了存储资源的消耗。与DBPS相比,大多数的溯源系统或溯源应用都直接使用关系型数据库或图形数据库等现有的数据库来存储溯源信息,在读写溯源信息时需要对数据进行复杂的处理,读写效率较低。实验结果表明,本文设计和实现的DBPS系统在创建和查询溯源对象的数据时具有较高的效率,而在修改和删除数据时效率相对较低,但在实际的应用中修改和删除操作的使用频率很低,因此使用DBPS来存取溯源信息的整体性能突出,能够很好地满足用户的需求。
其他文献
在这个信息爆炸的时代,信息检索系统的出现无疑给人们在因特网上寻找自己感兴趣的内容提供了莫大的帮助。对于系统返回的大量文档来说,用户们最关注的就是这些文档的顺序。一个
在传统的信息检索中,检索模型是在静态数据集上训练得到的,模型一经训练,结构和参数都相对固定下来,没有根据新的数据自动修正的机制。但现实中,Web上的信息是实时更新的,经
智能卡的名称来源于英文名词"Smart Card",智能卡属于IC卡(集成电路卡)的一种。它是一种带有微型CPU处理器和存储器等微型集成电路芯片且具有标准规格的卡片。由于智能卡具有
计算机程序设计是一种抽象且调试成本较高的过程,需要功能丰富和高效的可视化开发工具及环境的辅助。目前的主流开发工具只是在设计过程提供了静态可视化功能,而在调试过程缺
排课问题对于每个学校的教务管理来说都是非常重要的,现在是信息的社会,在学校的教务管理中实现排课的智能化,可以快速高效的对课程进行编排,对整个学校的教学体制的管理具有
万维网是一个巨大的、分布广泛的、全球性的信息服务中心,它涉及到人们生活中的方方面面。人们不再对网站、网页这些名词感到陌生了,政府机关、高校、公司都搭建了自己的网站,而
面向服务的架构(Service-Oriented Architecture,简称SOA)是指为了解决业务集成的需要,通过连接能完成特定任务的独立功能实体实现的一种软件系统架构。SOA是一个组件模型,它
随着网络规模的日益增大,网络结构也异常复杂,现有的入侵检测系统很难适应大规模分布式网络的安全需要。免疫系统以其在信息处理中所表现出来的分布式保护、自适应性、鲁棒性、
说话人识别是指通过说话人的语音来自动识别说话人的身份,作为生物证认技术的一种,它在许多领域里有着良好的应用前景和巨大的市场潜力。本文通过分析说话人识别的原理与系统
智能视频监控融合了计算机视觉、图像处理、模式识别、人工智能等多个学科的知识,是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题。智能视频监控在不需要人为干预