随着互联网的极速发展,互联网产生的信息数据成爆炸式增长。互联网已经从信息匮乏迅速转入信息过于庞大而难以甄选有效信息的时代。文本信息作为传递信息的一种载体,依然是人们从互联网中获得信息的一种主要方式。如何从互联网海量文本信息中获取感兴趣的信息是大数据挖掘中的一项重要任务。文本信息挖掘被广泛应用于网络舆情、营销、商业推荐等各方面,研究文本信息挖掘技术具有广阔的市场应用前景。另外一方面,海量数据的涌现,使得传统的服务器已经无法承载海量数据的存储和运算,分布式系统已经成为当前处理海量数据的主流平台。因此,如何将传统的串行数据处理方法有效应用到分布式系统中也成为了分布式系统研究的一个主要问题。本文根据海量文本信息挖掘的核心问题,研究了基于Hadoop平台的文本聚类问题,以便于利用分布式平台提高文本聚类的效率和扩大文本聚类处理数据的容量。本文取得的主要成果有：1.本文根据Hadoop平台的特性,实现并改进了基于Mapreduce架构的分布式LDA主题模型并行算法,有效解决了单机LDA中处理数据容量受硬件资源限制的问题。实验结果表明,分布式LDA主题模型在处理海量数据时具有明显的时间优势。2.本文设计和实现了一个可视化的Hadoop集群管理平台,通过该平台简化了Hadoop集群的管理。同时,平台引入了用户权限控制模块,增强了平台的安全性。3.本文利用实验室的闲置计算机资源,搭建了由25台普通PC机构成的Hadoop的集群,并在该平台上验证和测试了可视化管理平台和并行LDA主题模型的算法。该系统可以稳定可靠地运行。