互联网技术的进步,新闻媒体开始使用网络技术来提供实时的、丰富的、专业的新闻资讯,网络新闻资讯逐渐成为人们了解社会时事、国际动态或追踪科技热点的重要来源。随着信息来源的多样化、信息内容的丰富化,海量文本数据爆炸式增长,给数据的安全存储和分析利用带来很大的挑战。对文本资源进行分类管理也是数据集成和科学分析利用的基础和前提,例如可以构建专业领域的知识目录、提升搜索引擎的精度、提升热点趋势分析的效率等。大数据平台的出现为数据存储、分类处理提供了更好的解决方案,文本数据可以统一存储,文本分类过程更智能,产生的结果更可靠。当前,各个行业存储了海量的文本数据,这些数据蕴含着宝贵的价值,使用更高效快捷的工具挖掘其中的价值对于企业和社会都具有重要的意义。为应对海量数据的挑战,论文将文本分类和大数据处理技术相结合,对资讯类文本进行分类模型的研究,研究内容如下:首先,研究了文本分类中涉及的重要技术,包括文本预处理、文本表示和分类器等,对Hadoop大数据平台的两大核心组件分布式文件系统HDFS、分布式计算模型Map Reduce,从构成要素和运行原理方面进行了深入研究。其次,对文本分类中的关键内容,文本特征提取TF-IDF算法进行改进,根据资讯文本的特点,通过对标题特征词赋予更高权重,正文特征词适当降低权重,实现特征提取算法的优化,以Map Reduce并行方式获取了模型数据,并结合Mahout机器学习框架,构建了分布式环境下的文本分类模型。最后,利用虚拟机组建了完全分布式环境,部署了一套Hadoop大数据平台,进行并行加速比实验和特征权重的优化实验,使用机器学习框架中的朴素贝叶斯分类算法完成分类模型的训练和验证,实验结果显示,使用大数据平台技术可以大大缩短训练模型所需要的时间,优化特征词权重后的模型在分类效果上有了一定的提升。