基于UIMA的内容搜索

被引量 : 0次 | 上传用户:pzcx910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于互联网迅猛发展和普及,电子文本信息迅速膨胀,如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。本论文正是在搜索引擎的应用背景下探索信息检索效果的提高下产生的。其中,文本分类作为信息检索的关键技术,可以在较大程度上解决信息杂乱现象的问题,方便用户准确地定位所需的信息和分流信息。本论文采用在UIMA(Unstructured Information Management Architecture,非结构化信息管理架构)框架下使用分类算法实现文本分类的高精度。该框架可以分辨出文本和其他非结构性数据中的语义,它超越了目前大多数搜索引擎所使用的关键词搜索方式,从而简化了分析非结构化媒体对象的系统的开发和部署,可以用来提供语义搜索和文本挖掘等功能。它还提供了一种具有标准界面的开放软件框架,以便为任何应用添加非结构化的信息分析能力;方便地跨数个不同供应商将分析软件工具与端到端的企业应用进行集成,这样加速创建可重新使用的全新分析软件构件。本论文的文本分类过程分为训练阶段和测试阶段。训练阶段有文本预处理,包括一般包括去除文档中的格式标记、过滤非法字符、字母大小写转换、去除停用词和稀有词、词干化处理和中文分词处理(N-Gram模型)等;特征项选择和提取,选用了交叉熵作为评估函数;分类模型使用了贝叶斯原理构造。测试阶段利用UIMA框架简化分析文档的系统开发和部署,以及使用了它提供语义搜索和文本挖掘的功能的相关组件,比如Annotator(标注器),Common Analysis System(通用分析系统),Analysis Engine(分析引擎)等;使用训练好的分类器对测试文档集进行分类,并用目前比较流行的混淆矩阵进行了精度评估分类准确率。通过实验对影响文本分类性能的各种问题进行深入研究,提出有效的解决或改进的方法和技术,使文本分类器能够具有更好的稳定性、快速性和准确性等特性,比如训练样本集的选择,跨语种的文本分类技术,文本信息过滤等。通过实验,在UIMA框架下从非结构化信息文本中提取出结构化的数据,对文档进行分类,评估分类准确率达到了约85%的较好效果。
其他文献
现有的电能表测量无功的设计原理都是基于正弦周期电压和电流信号的假设,其理论基础是正弦电路功率理论,这类电能表只适用于计量供电电压和电流的波形无畸变下的线性负荷电能
目的 探讨肥胖的 2型糖尿病 (T2DM )患者血浆白细胞介素 6 (IL 6 )水平及其与胰岛素敏感性的关系。方法 受试者分为肥胖的T2DM组 (4 2例 )、非肥胖的T2DM组 (4 0例 )和正常
本研究以二语产出理论、多注意力资源模型与有限注意力模型为理论基础,以因素多少、是否此时此地和有无推理要求为变量,通过学习者任务难度感知测量这三个变量上复杂任务与简
列举了一起因二次回路接线错误引起的电压互感器二次系统向一次系统反充电事故,一起因二次设备和一次设备“接点竞赛”引起的电压互感器二次系统向一次系统反充电事故,并结合
中国自古以来就是世界闻名的礼仪之邦,礼是古老中国最基本的社会现象,是中国传统文化的核心,也是法文化的主要构成部分。礼最初起源于原始社会的宗教祭祀仪式,阶级社会产生以
本研究从内蒙古绒山羊血中提取基因组DNA,PCR扩增绒山羊的BMP-2基因片段,连接到pGM-T载体、转化,筛选鉴定阳性克隆提取质粒进行测序,和GenBank数据库进行比对,对它们的核苷酸
<正>渤海海峡附近海域分布着数十条国内、国际航线,每天过往的各种船只一般在300艘左右,是我国北方海域名副其实的"黄金水道"。由于渤海海峡天气气候复杂多变,导致灾害性天气
<正>1数学直觉的意义N.D.古德曼在《数学是客观的科学》中说:"直觉是由关于数学世界的真理构成的,这些数学世界是由他的先辈和同辈所发现的.直觉能使他去发现新的结构和对老
"太湖佳绝处,毕竟在鼋头"。三万六千顷的太湖,周长几百公里,沿湖城镇众多,景点棋布,惟有无锡鼋头渚才是欣赏太湖最佳之处。百年来无以计数的人来到鼋头渚,目睹了太湖的辽阔、山
随着信息时代的到来以及网络的普及,多媒体教学模式在大学英语课堂中的应用越来越广泛。多媒体教学使传统教学更加丰富生动,有助于提高学生学习英语的积极性,拓展学生的思维