论文部分内容阅读
由于互联网迅猛发展和普及,电子文本信息迅速膨胀,如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。本论文正是在搜索引擎的应用背景下探索信息检索效果的提高下产生的。其中,文本分类作为信息检索的关键技术,可以在较大程度上解决信息杂乱现象的问题,方便用户准确地定位所需的信息和分流信息。本论文采用在UIMA(Unstructured Information Management Architecture,非结构化信息管理架构)框架下使用分类算法实现文本分类的高精度。该框架可以分辨出文本和其他非结构性数据中的语义,它超越了目前大多数搜索引擎所使用的关键词搜索方式,从而简化了分析非结构化媒体对象的系统的开发和部署,可以用来提供语义搜索和文本挖掘等功能。它还提供了一种具有标准界面的开放软件框架,以便为任何应用添加非结构化的信息分析能力;方便地跨数个不同供应商将分析软件工具与端到端的企业应用进行集成,这样加速创建可重新使用的全新分析软件构件。本论文的文本分类过程分为训练阶段和测试阶段。训练阶段有文本预处理,包括一般包括去除文档中的格式标记、过滤非法字符、字母大小写转换、去除停用词和稀有词、词干化处理和中文分词处理(N-Gram模型)等;特征项选择和提取,选用了交叉熵作为评估函数;分类模型使用了贝叶斯原理构造。测试阶段利用UIMA框架简化分析文档的系统开发和部署,以及使用了它提供语义搜索和文本挖掘的功能的相关组件,比如Annotator(标注器),Common Analysis System(通用分析系统),Analysis Engine(分析引擎)等;使用训练好的分类器对测试文档集进行分类,并用目前比较流行的混淆矩阵进行了精度评估分类准确率。通过实验对影响文本分类性能的各种问题进行深入研究,提出有效的解决或改进的方法和技术,使文本分类器能够具有更好的稳定性、快速性和准确性等特性,比如训练样本集的选择,跨语种的文本分类技术,文本信息过滤等。通过实验,在UIMA框架下从非结构化信息文本中提取出结构化的数据,对文档进行分类,评估分类准确率达到了约85%的较好效果。