基于Hadoop的车联网数据存储策略研究与优化

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:jenjen1985
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车联网系统能极大的改善城市的交通状况,但是它会产生大量的数据,如何存储海量的车联网数据成了一项艰巨的挑战,而云计算可以提供海量的存储。Hadoop是一个开源的云计算框架,也是目前应用最广的云计算平台,Hadoop上所有的数据都存储在HDFS上,对于HDFS的优化得到越来越多的研究者的重视。但HDFS的存储策略存在一些缺陷,如数据副本个数固定和选择节点时没有考虑到节点的实际运行情况,造成数据分布不均匀和节点负载不均衡等问题。本文针对上述问题展开研究,提出了ART存储策略来改进HDFS的存储性能,ART存储策略包括区域划分算法、动态数据副本算法和基于代价的节点选择算法。在区域划分算法中,根据节点的性能和对服务的响应质量,将HDFS中的DataNodes划分成High-Zone和Low-Zone两个区域,High-Zone中的节点具有较高的剩余性能,存储数据时应该优先选择处于该区域的中节点。为了完成区域划分算法,本文定义了节点性能和节点负载的计算方法,引入了数据访问频度,同时也为后续的改进打下基础。动态数据副本在保证数据有效性的前提下,综合集群中数据节点的失效率和数据的访问频度,动态的计算每个文件应该保存的副本个数,该算法既减少了数据冗余,又能保证数据读取的性能。基于代价的节点选择算法改进了HDFS在选择节点时的随机性,定义了节点间数据的传输代价,结合节点的实际性能和负载,设计了选择某个节点的代价的计算方法。在选择节点时,通过计算节点的代价找出最适合存储数据的节点。实验部分,分别存储热点数据和非热点数据验证了区域划分算法的有效性。通过数据冗余和对热点数据的响应时间验证了动态数据副本个数算法的有效性,通过数据存储时间验证了基于代价的节点选择算法的有效性。最后通过平均响应时间和节点相对负载验证了ART存储策略确实提高了集群的性能,印证了本文思路的可行性。
其他文献
土壤净氮矿化是土壤无机氮积累的主要途径之一,对土壤无机氮流失和淋失引起的农业非点源污染有重要影响。土壤净氮矿化受土壤含水量、土壤温度和土壤氮素含量等多种因素综合
枯草芽胞杆菌(Bacillussubtilis)是能形成芽胞的革兰氏阳性模式细菌,其广泛分布于不同环境中。不同枯草芽胞杆菌菌株可以产生各种特异的活性物质。这些活性物质赋予枯草芽胞
土壤有机碳循环受土壤微环境、底物及微生物三者的共同调控。水稻土经历频繁的氧化还原交替决定了其独特的碳与养分循环过程,但与碳循环密切相关的养分元素含量及其计量学耦
近几年,蜂王浆消费市场中“蜂王浆激素论”甚嚣尘上,使消费者对食用蜂王浆失去信心,搅乱蜂产品消费市场,给蜂产品行业甚至整个蜜蜂产业的健康发展带来沉重打击。早期研究显示
随着工业的发展,社会环境对工业效率和能源利用率的要求越来越高,体现在发动机领域,则是如何在降低油耗和排放的同时拥有更强的做功能力。发动机做功能力的提高,意味着发动机
随着全球化的趋势,集装箱运输已经成为全球最重要运输方式。然而,密集的海运航线和港口操作产生了大量的碳排放。现阶段,我国转型成为低碳港口的努力正处于起步阶段。因此,有
荧光染料作为化学科学的一项重要分支,近十几年发展迅速,多种染料被研究者们开发应用于拓展,但是伴随着迅速的发展,目光已经不能只局限于化学方向,所以荧光染料在生命科学领
喹啉类和脒类化合物具有广泛的生物活性,一直被用于农药先导化合物的开发。本文设计合成了两大类化合物,以期发现具有较高活性的农药先导结构。第一,以不同的取代苯胺为原料,
靶弹是防空兵器系统在研制、设计定型、导弹批抽检及部队作战训练中经常采用的靶标,是试验鉴定部门考核防空兵器系统不可或缺的重要装备,为防空兵器系统的完善与升级提供重要
酒文化是博大精深的中国文化的重要组成部分。从古至今,酒和酒文化几乎渗透到社会生活的方方面面,成为国人生活不可或缺的一部分。同时,白酒产业对于推动国民经济增长起着举