天山西部森林生态监测e-Science平台传感器数据存储策略研究

来源 :中国林业科学研究院 | 被引量 : 0次 | 上传用户:addfwegh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国林业资源丰富、种类繁多,分布在全国各地的大小监测站搭载的各类传感器日积月累的监测生成了海量的数据,采用何种方式来有效地存储和管理这些数据是摆在我们面前的重要问题。在对传感器采集到的原始数据进行分析时发现这些数据或多或少均存在一些数值波动数据,为此本研究对这些数值波动数据进行了分析与总结,研究出了一套原始数据的误差消除算法。目前各类传感器监测到的原始数据存在较多误差和数值波动数据,有些数值波动是由于极端天气情况造成的正常数值波动,而有些数值波动是因为设备故障、外界干扰等原因造成的异常数值波动。因此,这些原始数据在存入数据库之前必须先经过人工处理数值波动的步骤,但是这样数据的准确性又受到了人为因素的干扰。本研究针对该问题采用天山西部某森林生态监测站的空气负离子浓度数据作为实验数据,研究了一套基于多元回归拟合的自动误差消除的算法,以简化数据处理程序,减少传感器监测的原始数据中存在的误差以及人为因素的影响,该算法拟合精度的浮动范围在14%以内。本研究比较了关系型和非关系型数据库的一般特性以及二者在存储海量数据时的优劣势,分析了目前8款主流NoSQL数据库的特性和适用场景,然后针对云平台中传感器数据文件的特点,结合本研究对比得出的结果,从中筛选出了三款待选的数据库,通过引述前人针对这三款数据库的性能测试结果,结合云平台传感器数据的存储需求,最终选择HBase数据库作为海量传感器文件存储平台。为了更加有效地发挥HBase数据库的优势,提高海量传感器监测数据的读写效率,本研究对于不同数据特点和类型采用不同的存储策略,在原始数据存入HBase数据库之前首先通过一个文件分流的中间件将不同类型的传感器数据分离开来,然后针对每类传感器数据分别采用不同的存储方式,将遥感影像与视频类监测数据通过数据库切割成若干个大小相等的数据块来存储,将图片类型监测数据合并为一个较大的数据块来存储,该数据块的大小与遥感影像、视频类监测数据切割后的数据块大小保持一致,数值型的数据在筛选出来之后首先通过自动误差消除算法对原始数据进行误差消除处理,然后再存入HBase数据库中。以天山西部森林生态e-Science平台为原型系统,将本研究研究得出的海量传感器监测数据存储策略应用到该平台中,分别采用原始存储策略和本研究设计的存储策略进行测试,比较测试结果,分析其适用性和可行性。测试结果显示,本研究设计的海量传感器数据存储策略显著提高了海量传感器数据尤其是数值型数据和图片类数据的存储及读取效率,具有一定的实用价值和现实意义。
其他文献
恶性梗阻性黄疸作为肝胆外科较为常见的疾病,对患者机体的损害较大,而且不利于预后。恶性梗阻性黄疸起病隐匿,患者得到确诊时肿瘤已发展为中晚期,错过了治疗的最佳时机。目前
目的:研究胸部CT平扫及气道三维重建对小儿闭塞性细支气管炎的诊断价值。方法:选取31例小儿闭塞性细支气管炎患儿作为研究对象分别对其进行胸部CT的平扫和气道三维重建进行诊
【目的】研究不同分子量腐殖酸与磷肥复合制备的腐殖酸磷肥对作物和土壤磷有效性的影响,为腐殖酸磷肥研发和磷素高效利用提供理论依据。【方法】利用超滤分级方法,将风化煤腐
<正> 新近出版的《深圳物业管理措投标标书集锦》,是一本全面介绍物业管理招标从起步到推广的全过程的教科书。该书汇集了自1996年以来,鹿丹村、桃源村、梅林一村
本文以中医经典理论为基础,论证肝气虚存在的理论渊源。通过对肝气虚的论述,认为肝气虚是妇女月经病变产生的重要病理基础,并提出肝气虚是导致痛经产生的重要原因。在此基础上提
详细分析了大温差小流量系统方案和一次泵变流量系统方案在空调水系统节能方面的异同。针对冷水机组的单一制冷功能,介绍了具有热回收、冰蓄冷、免费取冷多功能的离心式冷水机