基于Hive架构的物流运力供应链数据仓库及运力匹配模型优化研究

来源 :四川师范大学 | 被引量 : 1次 | 上传用户:w734289467
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和物联网的高速发展,物流行业中运力供应链数据规模正在逐渐增大,为了充分利用海量物流运力数据为物流企业提供决策支持,从而保障物流运力行业安全、高效地运行。构建一个强大的分布式数据仓库平台,研究海量物流运力供应链数据存储和决策应用等方面具有重要的意义。本文针对当前物流运力行业中传统数据库在海量数据存储和提供决策支持等方面的不足,提出了基于Hive架构的物流运力供应链数据仓库的构建方法。通过对课题联合研究的某企业(以下简称企业)中多个应用系统的运力供应链数据分析、整合,实现系统之间运力数据共享。针对海量运力供应链数据分析和决策需求,设计并优化了运力匹配原始模型,通过Hive数据仓库为企业的运力匹配提供决策支持。本文的具体研究工作如下:(1)提出基于Hive架构的物流运力供应链数据仓库构建方法。运用该方法,在多台阿里云服务器上搭建完全分布式的Hive数据仓库。(2)针对企业中多个应用系统的异构运力数据源,通过基于Hive数据仓库的整合方式整合多个运力数据源,将整合后的运力数据导入数据仓库,实现多个系统之间的运力数据共享。(3)针对企业中的一个运力调度子系统,设计并优化了运力匹配模型,结合Hive数据仓库可以匹配多个系统之间的车辆信息,同时为企业运力匹配提供辅助决策依据。(4)结合企业提供的数据源以及构建的Hive数据仓库,通过数据对比分析Oracle、Mysql、Impala以及Hive的查询效率,并实现多源异构运力数据共享和优化后的运力匹配模型。
其他文献
随着数据库技术的逐渐成熟和信息数据的膨胀,数据挖掘技术(Data Mining,DM)应运而生,被广泛应用于银行金融、气象预报、DNA、教育、电信、客户分类等领域及国防科研上。数据
在计算机视觉领域,从二维图像重建物体三维轮廓形状是当前的一个研究热点,高质量的3D模型成为现代人们生活的迫切需求,广泛应用于逆向工程。传统的三维数据获取方法,如双目立体视
多示例学习的主要目的是通过学习训练集中的概念,为一些不可预知的包获取正确的类别标签。目前大量学者对多示例学习的理论及应用进行了研究,并取得了丰富的成果,然而多数研
人脸识别是人工智能与模式识别领域以及计算机视觉领域最富挑战性的研究课题之一。在计算机科学领域的许多科学家都希望机器能够具有人类的智慧,并且能够像人类一样识别和记
现实世界中存在诸多复杂网络,如生物网、科技网和社交网等。近年来复杂网络的研究吸引了来自计算机、物理、数学和生物等众多领域的研究者,已成为多学科交叉研究的热点之一。
随着计算机网络的迅速发展,网络设备和网络上运行的各种应用服务越来越多,计算机网络正变的日益复杂。如何及时有效的了解计算机网络的运行情况,准确快速的排除计算机网络出现的
目前,主要应用数据仓库来存储大量的历史数据用于决策分析,数据仓库必须支持各种各样的多维查询,随着信息的数据量迅速膨胀,这些多维查询通常要涉及海量的数据,而且要对这些
Markov随机场(简称MRF)是一种描述元素问相互作用的数学模型,它能简洁合理地刻画图像像素的空间相关性,是图像分割应用中备受关注的建模方法之一。 本文在传统监督式MRF模型的
近年来,在传感器网络、系统性能保持等应用领域中产生的数据量越来越大,每天以数以百万计甚至没有上限的速度增长,这样的数据流中蕴含大量信息,可以用来作为智能决策的依据,
Web服务组合作为基于Internet的典型的服务组合形式,正在得到广泛的关注。由于Web服务的松耦合特点,为保证多个服务交互获得正确的执行和一致性的结果,有必要为服务提供事务