近年来,随着高性能通信技术和工业互联网的快速发展,各行各业都将面临PB级别数据的处理。聚类分析作为数据挖掘中一种常用的无监督分析方式因其易用性强、实现效率高越来越成为行业关注的热点。DBSCAN作为一种依据样本点分布密度实现聚类划分的算法,通过设置密度阈值min Pts和邻域半径距离Eps即可完成聚类。但是,当数据集的簇类密度分布波动较大或者聚类数据量较大时,DBSCAN算法存在对噪音点的识别过于敏感、初始参数设置困难、聚类时间过长等缺陷。本文通过对DBSCAN算法的研究,结合现有学者对于该算法的改进方式提出了基于数据集密度分布的自适应初始参数Eps的改进算法。同时,针对海量数据环境中聚类算法执行效率低的问题提出了基于Spark的并行聚类算法。最后将本文算法结合文本挖掘技术实现了新闻摘要的自动化提取。本文的研究工作主要概括如下:首先,对于复杂环境下DBSCAN算法初始参数选择困难的问题,提出了一种依据数据分布密度实现参数Eps自适应选取的改进算法DR（Density Recognition）-DBSCAN,该算法通过计算并统计出所有数据点的第k个最邻近的聚类收敛距离,找到满足该区域密度的Eps值,实现该参数的自适应选取。针对DR-DBSCAN算法邻域数据点查询复杂度高的问题,利用R树提高了查询效率。其次,为了更好地将DR-DBSCAN算法应用到海量数据的聚类分析,提出了基于Spark的PDR（Parallel Density Recognition）-DBSCAN算法,该算法通过二次划分策略将数据集划分为数据量相当的子集,然后对每个子集进行独立的自适应Eps计算并实现聚类局部。最后根据局部数据点的重合标签实现了簇类融合。实验结果表明PDR-DBSCAN算法的计算效率远不仅高于单机聚类方式,也优于其他的并行聚类算法。解决了聚类算法在大数据环境下运行效率低的问题。最后,将PDR-DBSCAN算法应用到文本挖掘中。通过数据采集、数据预处理、特征表示等步骤完成文本数据的空间模型构建,并基于本文算法进行词向量和句子向量的聚类,最终实现了文本数据中关键词和摘要的自动化提取。