随着互联网时代的到来,人们每天产生的数据越来越多。使用传统的关系型数据库做ELT（Extract,Load,Transform）以提供决策支持已经显得力不从心。基于MapReduce的数据仓库Hive的出现为这一问题提供了一种解决思路。Hive从0.14版本开始支持快照隔离级别的事务操作。由于Hive提供了快照隔离级别的事务操作支持,当Hive接入流式数据或者在高并发场景中有频繁的DML操作,会导致底层HDFS中出现过多的快照文件。过多的快照文件不仅占用了过大的存储空间,对HDFS的NameNode产生压力,而且也严重影响了Hive事务表的读性能。本文从Hive事务表使用过程中遇到的小文件数量过多的问题出发,设计并实现了一套独立于数据仓库的整合系统。本文中设计并实现的独立整合系统具备以下主要功能:1.系统根据事务表的统计信息,对事务表进行全整合（Major compact）或者部分整合（Minor compact）,为Hive数据仓库的事务表提供了基本的小文件整合功能。整合系统在此基础上,支持用户通过WebUI手动触发对事务表的整合操作,比原有的只能通过命令行的方式更加易于使用。2.系统提供了自动或人工收集库内事务表的统计信息的功能,通过收集统计信息,数据库管理员可以获知库内事务表的基本情况,判断整合系统的运行情况或者数据是否发生了倾斜。3.系统提供了 WebUI,支持了数据库管理员对于整合黑名单,整合队列和统计信息的管理,方便了管理员排查问题。相比于原先只能通过命令行操作的方式,更加易于使用。在开启安全服务的集群中,整合系统通过CAS中心登录和权限检查保证了 WebUI上操作的合法性。4.系统通过主备（Active-Standby）架构的设计,提高了其可用性。本文通过实验证明了,在开启了独立整合服务的Hive集群中,整合系统能有效地整合碎片版本文件较多的事务表。本文通过使用了 TPC-DS Benchmark中的若干查询SQL,对具有不同数量碎片版本文件的事务表执行查询操作。实验证明,相较于没有经过整合的事务表,整合后的事务表查询性能能得到有效的提升。在技术选型上,系统采用Java语言实现,服务间通信使用了 Thrift框架。WebUI实现上使用了 Jetty容器,Servlet以及Velocity模板引擎。统计信息元数据存储于Hive数仓的MetaStore中,事务表文件存储于HDFS中,整合任务由MapReduce完成。