基于大数据的蔬菜水果价格信息监测分析系统研究

来源 :长江大学 | 被引量 : 1次 | 上传用户:wangcwfq3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,我国农业生产存在农产品生产和市场脱节的严重问题,这主要是由农业决策者只凭臆测或使用决策精度不高的决策系统进行决策生产造成的。本文基于大数据以价格信息为主体,结合影响农产品价格的天气、产量等因素对农产品的价格影响因素、价格预测、区域分布、合理分配等内容进行了探讨,旨在寻找更适合我国农业生产决策的大数据分析处理流程,用大数据来尽可能提高农业生产决策的精度。本文依据现有大数据技术方法设计了价格信息监测分析流程,应用网络爬虫工具爬取各个农业网站上的农产品价格、产量等相关数据,并使用大数据思维对我国农产品价格等数据进行了分析处理。对原型系统进行设计,主要考虑传统技术在海量数据面前的局限性,应用了大数据相关技术克服了传统技术在海量数据存储与计算方面的不足。本文构建的大数据分析流程多采用开源架构实现,其中大数据采集选用了爬虫技术,大数据平台选用Hadoop。以HDFS、HBase和Hive作为存储系统,计算框架使用了MapReduce并行计算框架,并综合使用了包括Sqoop、Oozie、Elasticsearch等的技术来实现关系数据库到大数据平台的数据导入导出、自动化的数据采集存储流程以及建立全文索引。网络数据大多为文本类型的数据,需要对其数据进行结构化以方便后期的处理。首先,各农业网站的农产品和批发市场信息命名标准和规范都不一样,必须对其进行重新规范化。其次,各农业网站上的数据粒度不一样,需要对数据进行标准化。应用该大数据分析流程对蔬菜价格开展影响因素、价格趋势预测、空间区域特征以及分配方法分析。利用蔬菜价格影响因素分析获得影响价格的影响因素并抽取了具有代表性的天气、人均收入和喜好影响因素。然后利用这些影响因素构建了比较适合大数据场景的蔬菜价格预测分析流程。最后,利用该流程进行蔬菜价格趋势预测分析得到蔬菜的价格预测信息。利用空间位置信息进行蔬菜价格空间分布差异分析得出蔬菜的分配原点,再综合用户的喜好、区域性的需求和产量信息进行蔬菜配送方案分析得到分配的决策信息。利用大数据技术设计实现的农产品价格信息监测分析原型的正常运行证明了本文设计实现大数据分析流程可行。经过验证,利用该原型分析的结果比较切合实际,分析结果可信。
其他文献
石油烃类化合物所引起的环境污染问题引起世界范围内的关注。稠油是石油烃的一种,稠油中胶质、沥青质含量高,密度和粘度较大,组成十分复杂。随着稠油开采量的增加,稠油对环境的污
以甲基丙烯酰乙氧基三甲基氯化铵作为功能性单体,与丙烯酸酯类单体共聚合成了防雾树脂,并以该防雾树脂作为成膜物,加入固化剂,配制成具有优异防雾性和耐水性的防雾涂料。分别
压力封闭层是维持异常压力存在的必要条件。将压力封闭层定义为在某一地质时间内,能够维持异常流体压力存在的地质体和地质作用的总和。压力封闭层的成因类型包括成岩封闭、构
药品说明书和标签作为指导正确选择和使用药品的重要手段,攸关社会公众的身体健康和生命安全。因此,正确理解和执行药品说明书和标签管理规定对指导医药工作者及患者合理用药
<正>前些日子,去了南方农村采访。在两个村子里,感受到了截然不同的农村模样。一个村里,看到的都是老房老屋老人,年轻人全部已经"出走",有的远赴他乡讨生活,有的陪着孩子到县
<正>领导干部为什么要读书?领导干部阅读的首要作用,当然是对于自己工作的指导。习近平总书记在中央党校2013年春季学期开学典礼上已经讲得很透彻。他说,只有加强学习,才能增
期刊
近年来,我国高速发展的社会经济对于能源的需求与日俱增。而煤炭作为我国主要的能源来源,煤炭开发的高速扩张和大规模开采就成为一种必然。但煤资源大规模高速开发和与之相对
剩余污泥的处理是污水生物处理过程中的重要环节,由于末端处理成本高,源头减量就显得非常重要。本课题组发现在污泥溶胞中,低声能密度的超声波对碱向污泥的渗透具有很好的促
公司章程文本是较难翻译的一种法律文本,此类文本里的词语既严谨又正式。这篇文章分析了公司章程文本的词语特点,并提出了相应的翻译策略。
硫酸亚铁作为线粒体呼吸链电子传递和质子转移的构成元素,对细胞线粒体的生理功能具有重要的调节作用,它主要在呼吸链复合体I与II、II与III之间传递电子,在ATP的合成过程中发