论文部分内容阅读
Web文本挖掘是数据挖掘技术在网络信息处理中的一个重要应用。如何将web文档转换成数据挖掘所要求的格式，即web文档预处理是一项很重要的研究课题．本文的方法是：从Internet网上下载了大量的网页文件，将网页文件转换成文本文件，然后通过算法对这些文本文件中的数据进行词频统计，删除非用词，去掉高频词，对单词进行词根处理，建立用词词表，从而抽取用词，按字母排序生成词频索引，和字典文件进行对照，获取单词的ID，最后生成Reuters一21578的Database数据格式．这样就将web文档数据转换成标准的数据