论文部分内容阅读
交通运输行业对交通数据存储、管理和读取的要求越来越高。本文通过对比Hadoop技术与MPP 技术，分析基于开源Hadoop 架构的HDFS 分布式文件系统、MapReduce 并行计算、数据仓库工具Hive 及大数据采集组件Sqoop 等架构，研究了Hadoop 交通运输行业数据仓库的构建过程，最终实现了交通运输行业数据仓库的建立与测试，最终实现了海量交通运输行业数据文件的分布式存储、元数据管理以及交通运输行业数据的查询。应用表明，在使用交通运输行业数据仓库对大型交通运输行业数据文件存储和操作时，可以大大提升数据吞吐率和数据读写操作效率。