基于非关系数据库的物联网数据存储系统的设计

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:jrelt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网系统一般要求数据库满足高并发读写、海量数据存储的高效管理、较高可用性和扩展性等。而传统的关系数据库在最初设计时保证了数据存储一致性和读写可用性,导致数据难以采用分布式存储,导致单个服务器的资源限制了数据读写的能力和挖掘的效率。为解决这一问题,将非关系数据库的引入物联网系统。其思想是通过优先保证数据的可分片性,并根据应用场景的不同保证数据一致性或读写可用性,从而提高了数据存储和数据挖掘的速度。   首先,引入一致性哈希的原理,比较当前一致性哈希的实现方法,最后测试编程测试证明KETAMAHASH具有最好的均衡性和单调性。其次,介绍了2PC、3PC和Paxos等一致性协议,实现了一种基于Paxos的分布式系统配置程序,并应用在无锡博览园的数据接入系统中。然后,比较了当前非关系数据库中的两种持久化方法,并通过编程实现比较两种方法性能上的差距,证明了BigTable所采用的数据持久化方法具有更好的可扩展性。为了保证系统的安全性,设计了一种基于CA认证和ssl加密通信的方法,应用在博览园的数据接入系统的安全认证中。最后,给出了非关系数据库中MapReduce的实现方法。   对当前的非关系数据库进行了分类,并根据其设计原理给出其应用环境特点:基于内存存储的数据库适用于做数据缓冲层;基于文档存储的数据库适用于需要存储种类多样数据的应用;基于列存存储的数据库具有高度的可扩展性,适用于大批量数据读写的应用。   最后针对无锡博览园数据接入项目中的应用场景,设计了一种基于MongoDB和Memcached的数据存储系统,开发了数据读写接口模块、核心存储模块、缓冲层模块和自动化监控模块。该系统对接入系统的数万个节点提供了数据存储服务、对各种物联网应用提供了数据读取服务、基于MapReduce的海量数据挖掘、基于CA认证和ssl加密通信、基于Paxos的分布式系统配置,以及实时监控服务。经测试证明系统具有较好的稳定性及读写速度优势。
其他文献
杨树在我省城市绿化中占有重要地位。培育不育的杨树新品种,将从根本上解决絮状花蕊对人体造成的危害,用它作为行道树种的重要性将会日益突出。本研究课题以美洲黑杨、烟草和拟
寄生蜂对寄主的调节是一个复杂的过程,大多数内寄生蜂产卵时同时注入寄生因子(如PDV、毒液、萼液),以及卵孵化过程中会释放出的畸形细胞和幼蜂分泌物等,从而影响或调控寄主的
氨基酸不仅是蛋白质合成的基本原料,还具有调节生理生化代谢的作用。氨基酸还能作为信号分子调节基因表达。本研究以体外培养的奶牛乳腺上皮细胞为研究对象,建立氨基酸调控泌乳
数据收集是无线传感器网络中最重要的操作之一,数据收集的可靠性、实时性直接影响对物理世界的感知效果。本文将网络编码与协作通信技术结合,针对无线传感器网络数据收集中遇到
宽带无线通信系统链路自适应传输技术是当今无线通信研究的热点。链路自适应技术的目标是在满足一定系统需求的前提下,尽可能的提高频谱效率,这在频谱资源日趋紧张的今天显得非
计划在2014年发射的我国第二代静止气象卫星风云四号,星上将搭载干涉式大气垂直探测仪,它将摒弃传统的滤光片技术,直接采用干涉分光技术,是我国红外高光谱探测技术的一次跨越
本文采用形态学和分子系统学相结合的方法对中国园蛛科艾蛛属Cyclosa进行了较全面的分类研究,同时对艾蛛属蛛网的多样性进行初步的分析整理。  对中国的45种(37个已知种、5个
水稻黑条矮缩病毒(Rice black-streaked dwarf virus, RBSDV)隶属呼肠孤病毒科斐济病毒属,其基因组由10条双链RNA组成,按其在PAGE上的迁移率由慢到快,依次为S1-S10。其中RBSDV基因组片段S9长1900nt,为双顺反子,分别编码两个蛋白:P9-1与P9-2。由RBSDV引起的水稻黑条矮缩病严重危害我国水稻生产,造成发病地区水稻减产甚至颗粒无收,但是国内
在周界防入侵应用中,由于环境的复杂多变,传感器易受到各种环境干扰的影响,为了降低环境干扰带来的系统漏警和误警,研究高干扰环境下的入侵行为识别问题具有极其重要的意义。本文
一个学校的管理水平,决定着这个学校的质量水平、发展水平,而一所学校的管理水平,在很大程度上取决于校长的管理艺术与水平。那么,怎样提升校长的管理艺术,提高学校的管理水