近几年,人工智能技术在各行各业迅速发展,深度学习作为人工智能领域一个重要的技术实现,在自然语言处理、知识图谱、计算机视觉等领域被广泛的应用。在当前阶段,深度神经网络的常用方法仍然是监督学习,监督学习方法需要大量标记数据来训练优化相关的算法。如何高效、快速的获取用于模型训练的数据,是实现深度学习算法首先要解决的问题。本文主要针对在自然语言处理领域如何采集文本类数据的问题,提出了一种基于自动解析算法的新闻类网站爬虫系统,结合文本分类与新闻检索系统,构建了一个数据抓取与分类检索平台,极大的降低了获取数据的成本,能够为其他各种系统提供数据服务。本文的主要工作是,根据用户需求抓取新闻网站,利用基于自动解析的网络爬虫技术抓取网页关键信息,经过文本分类后将数据进行存储,最后提供全文检索的数据服务。经过需求分析,平台一共分为三个子系统,分别是网络爬虫系统、文本分类系统、新闻检索系统。与每个系统软件的实现有关的具体内容是:(1)基于Spring Cloud设计并实现一个分布式的新闻、博客类网站爬虫,主要有调度、下载、解析、保存四个模块。使用基于文本相对密度的自动分析算法来完成对网页信息内容的抽取,抽取对象为网页的标题、时间、来源和正文。采用Kafka做为爬虫子系统各个模块之间消息通信的中间件,来提高平台的整体吞吐量。(2)采用Bidirectional Encoder Representations from Transformers(BERT)模型为词向量模型,以Deep Pyramid Convolutional Neural Networks for Text Categorization(动态金字塔卷机神经网络/DPCNN)模型为分类器,实现一个中文的文本分类算法。(3)基于全文检索引擎Elasticsearch实现新闻检索系统,将不同类别的新闻存储到不同的索引中,并提供基于标题,来源,正文,发表时间的复杂的组合查询逻辑。平台的实现,经过实际生产的检验,结果证明该平台能够大大的节省获取文本数据的成本,给从事自然语言处理领域的从业者带来极大的便利。