随着信息大数据时代的来临,在海量数据存储与海量数据运算需求的推动下,大数据存储与大数据运算平台得到了飞速的发展。传统单服务期环境下的文本挖掘算法对文本特征提取以及分类需要耗费大量的时间,而MapReduce计算框架需要将运算中间数据存储在文件系统,伴随着用户对运算性能需求的提升,这种运算模式已经远远不能满足用户的需求。在Spark计算框架下提出并实现一种FEBLTL文本特征提取算法,该算法在LDA对特征进行初步筛选的基础上,综合考虑特征词的词性、位置以及特征重要性权重,通过逻辑回归对关键特征进行有监督学习提升了关键特征提取的准确率。在Spark环境下改进并实现了最大熵文本分类算法,通过TextRank特征权重值重新定义最大熵的二值函数,将改进的最大熵算法与K近邻、支持向量机和朴素贝叶斯算法在文本分类的准确率上进行对比,改进的最大熵分类算法在分类准确率上优于朴素贝叶斯且与K近邻和支持向量机算法不相上下。研究并实现通过SparkStreaming加载离线模型,准实时的批量对文本进行挖掘分析。研究的成果应用至点评文本挖掘分析,设计并实现了基于Spark的点评文本特征提取和点评文本分类,在Spark分布式计算框架下对点评文本的语料进行爬取,抽取了点评文本的语义标签并对点评文本实现了情感分类。基于Spark的点评文本的语义标签的抽取和情感分类可以快速的对文本信息进行挖掘分析。在文本挖掘领域,Spark并行式计算框架可以快速和实时对文本数据进行挖掘分析,改进的文本特征提取算法和文本分类算法能够更精准的提取文本关键特征,更准确的对文本进行分类。