随着各领域信息化水平的不断提高,人们通过网络交互信息的能力增强,互联网上的数据量迅速增长,海量数据的存储和高效检索问题亟需解决。关系数据库难以应对海量的数据,非关系数据库风生水起,其中作为典型代表非关系数据库HBase得到业界广泛应用。相对于关系数据库,HBase更加灵活,对数据类型没有限制,而且容易扩展,可靠性高,适合存储海量的非结构化数据。但是,HBase只提供了基于行键的键值查询和全表扫描功能,数据查询方面不像关系数据库那样灵活。虽然业界在原生HBase基础上添加了二级索引,但是已开源的HBase二级索引方案索引行键冗长,造成了存储空间的浪费。HBase是面向列存储的,在每个Cell中都会存储行键。因此,HBase存储的列越多行键冗余存储的次数越多,浪费的存储空间会越多。本文综述了大数据相关技术,介绍了 Hadoop生态圈中各系统架构和原理以及各组件的功能。通过阅读文献和对HBase源码分析,总结了 HBase行键设计原则。针对已有开源的HBase二级索引方案的不足,设计了基于哈希的HBase二级索引方案。利用哈希算法将过长的索引行键映射成16字节的哈希值作为索引表的行键,解决了多维列值复杂查询时索引表行键过长,浪费存储空间的问题。最后本文用Cloudera版本Hadoop和Zookeeper搭建了支持HBase运行的集群环境,利用从网上书城爬取的800万条数据作为数据源进行实证分析。结果表明在查询性能方面本文提出的方案与其他二级索引方案几乎没有明显差别,但是在占用磁盘空间方面,本文提出的方案明显比其他方案小很多。本文提出的方案适合行键超过16字节的情况。在涉及多列复杂查询时,多列值拼成的索引行键会很长,而且长短不齐,不符合HBase行键设计原则。在对上亿行数据表建立二级索引时,利用本文提出的二级索引方案可以将过将超过16字节的索引行键映射成符合HBase行键设计原则的16字节的哈希值,将映射后的哈希值作为索引表的行键可以节省大量的存储空间。