海量数据的存储和实时查询正在成为时下研究的热点。公司生成的数据量极速增长,急需一个新的方法来存储和分析数据集。传统的数据库管理系统难以处理海量数据的规模,存储这样规模的数据比较缓慢,并且需要前期做更多的设计和准备。本文利用Kafka消息队列、Storm流处理框架、HBase数据库等大数据技术,改进Impala大数据搜索引擎,设计并实现一个能够满足海量数据高吞吐量可靠存储和准实时查询需求的系统。系统具有高并发性、健壮性、动态伸缩和高容错性等特性,易于使用,支持高性能存储,改进的Impala搜索引擎可直接基于HBase快照查询,不再影响HBase的性能,可用于复杂的查询统计类需求。首先利用Protocol Buffer对数据序列化并推入Kafka消息队列,Storm流处理系统从Kafka队列拉取消息,KafkaSpout作为数据源向Storm组件发射消息流,本文实现的FilterBolt将过滤掉不安全的数据,HBaseBolt会最终将数据存储到分布式文件系统中,如果由于异常导致存储失败,会再次拉取这个消息处理,直至处理成功,提高了系统的高容错性。Impala集群和HBase集群共享同一个分布式文件系统,当数据存储在分布式文件系统后,系统基于分布式文件系统机架感知原理,将数据会同时分布到Impala和HBase集群中。改进的Impala引擎支持可直接查询HBase快照,保证了Impala和HBase不影响彼此之间的性能,提高了系统的实用性。最后,本文搭建实验环境完成系统性能测试,监测系统存储的性能和对于异常情况的容错能力,最后与Hive+HBase系统性能进行比较。通过实验结果得出,本文构建的新系统提供高性能存储和可扩展性,实现了海量数据的准实时查询。