作为记录科学技术知识和信息的载体,科技文献在科技领域拥有极其重要的作用。在互联网时代来临后,科技文献成几何倍数增长,人工筛选信息显然无法满足需求,对科技文献进行数据挖掘能更好的帮助我们获取科技信息。但在当前科技快速发展的环境下,随着大量新学科和网络用词的出现,仅仅采用传统的学科分类,无法满足目前的科技文献的学科划分需求的现状。同时聚类方法对文献进行划分也在效率和软硬件设施上提出了更多的要求。本文结合TF-IDF方法和科技文献的特点对文本特征进行提取,并在Hadoop分布式环境下,通过canopy改进后的k-means算法进行文本聚类,最终实现了海量科技文献的自动聚类。本文的主要工作和课题研究重点如下所示:1、首先对文本聚类的知识框架进行研究。重点研究了文本预处理,特征提取和聚类技术。详细介绍了特征提取方法和聚类算法。同时对科技文献的特征和分布式技术进行了研究与介绍。通过分析确定了大数据环境下的文本聚类的难点。2、在对文本聚类基础知识研究的基础上,本文提出使用提取文本名词特征并用TF-IDF进行特征提取,然后用降维后的特征,建立相应空间向量模型,最终在分布式环境下利用canopy改进后的k-means算法对科技文献进行聚类的模型。3、实现了基于海量科技文献的聚类,具体包括分布式环境的搭建,功能模块的实现,聚类结果的分析等。目前此系统已经成功应用于某单位的中文互联网文本观点抽取项目中,并在实际应用中系统取得了良好的聚类结果。