随着互联网技术的快速发展,各种数据量呈现出爆炸性的增长[1]。通过单机对海量数据进行分析处理已经难以进行,分布式集群系统成为海量数据存储与分析处理的必然趋势。分布式系统将多台机器组合成一个系统,对外提供服务,在满足海量数据进行存储、计算和分析的同时,能够有效降低对单台服务器的性能要求及成本。随着数据规模的急剧增长,集群的规模不断扩大,集群的功能日愈复杂,集群管理的难度增大,集群系统的可靠性和一致性成为影响集群性能的关键。如何设计可靠高效的集群管理机制,一直是业内重要的研究课题之一。论文基于海量结构化数据的列式存储机制,深入研究集群管理系统的关键算法,以提高集群管理系统的效率及可靠性,设计并实现集群管理系统的关键功能。论文为降低系统网络通信复杂度、减少集群系统本身负载,深入研究了传统的Master节点选举算法和心跳检测模型,提出了一套低通信开销的Master节点选举机制,降低了选举过程中的通信复杂度,设计了一种心跳检测机制,将心跳信息和集群节点信息同步相结合,从而简化集群系统结构,提高集群网络数据传输效率。论文的主要工作如下:(1)深入研究集群系统Master节点选举算法,提出一种基于节点性能指标的低通信开销的选举机制。集群系统需要一个主控节点来维护集群节点信息并分配外部任务。选举算法不仅要在集群建立时选举出性能最高的节点来担任主控节点,还需要在原来的主控节点故障时,快速地选出性能最优的节点来接管主控节点的工作。(2)设计了一种高效率的双向心跳检测机制。心跳机制是保证集群节点故障检测并及时处理的最基本模块。为了提高网络传输效率,论文在深入研究传统心跳检测模型的基础上,将集群信息同步和心跳检测相结合,实现双向心跳检测,既实现了信息的同步,又能提高网络传输效率。(3)基于本文研究的集群Master节点选举算法和心跳检测机制,设计实现集群管理系统的关键功能模块,主要包括Master节点选举模块、心跳检测和信息表同步模块、节点上线检测模块以及故障处理模块等。