在大数据时代来临之际,知识互联成为人们普遍关心的问题。面向科技资讯领域的数据采集系统可以为用户查询科技资讯类数据并提供专业且分类明确的领域信息,同时提高科技类知识图谱的构建效率。构建科技资讯领域的数据采集系统以资讯类文本作为基础数据,同时为了提升科技资讯领域数据的检索能力以及存储速率,将获取到的异构数据源数据,根据数据类型的不同进行融合存储管理,同时对获取到的数据加以文本分类,进而为知识图谱的构建提供精准的数据支撑,缩短数据处理时间,提高图谱构建速率。本文主要工作内容如下:为了解决网页异步加载问题,本文基于Scrapy框架,设计面向科技资讯领域的数据采集子系统,通过对所需数据采集的网页进行预处理,制定网页动态智能采集策略,解决传统页面分析方式下网页数据利用率低以及采集效率不高的问题。为了解决异构数据的存储问题,本文设计了一种融合存储管理方案。根据所需存储的数据结构特性,将获取到的异构数据源划分为网站政策通知类文本数据、工业产品信息类结构化数据以及知识信息类半结构化数据,并分别存储于HDFS、Hive、Mongo DB中,对数据进一步加以分类,缩短图谱构建时的查询时间。为了提高科技资讯类文本分类的准确性,本文设计了一种基于BERT模型,加入科技相关专业领域语料特征,进行科技资讯类文本的自动分类研究。并与TF-IDF算法相结合,增强单独词汇对文档的影响,使词向量赋有权重信息,改善了文本词向量化的精准度,从而降低数据检索时的查找时间。综上,面向科技资讯领域的数据采集系统,具备数据自动获取、文本分类以及数据结构化存储的功能,能够解决科技资讯领域信息采集、存储以及查询效率较低的问题,并在性能以及准确性上进行了相关验证。