论文部分内容阅读
文本是获取、存储、传播信息最有效的途径。目前人类正面对着信息的海洋,海量的文本信息储存了人类知识和文化的精华,也是人类文明得以延续和发展的保证。文本分类技术的作用就是利用计算机辅助,帮助人们对文本进行归类、整理。作为自然语言处理和文本自动化处理的一个基础应用,文本分类一直都被研究者们所关注。文本表示是文本分类的一个关键步骤。文本表示指的是如何将人能阅读和理解的自然语言文本表示为计算机可读的数据,本质上是一个信息转换的过程。我们总是希望能够将尽可能充足和完备的信息传递给计算机,然而计算机只有对数据进行存储和计算的能力,无法像人脑一样对文本进行语义分析。为克服经典词袋模型的高维和词语独立性假设的缺陷,本文提出了一种用于文本分类的简明语义分析方法,将词语和文本片段在一个较低维的概念空间中进行表示,从而实现词语和文本片段的语义分析。同时为考察简明语义分析在大规模数据集上应用的潜力,深入分析了简明语义分析的可扩展性与并行化。为充分利用文本中的词序信息,本文提出了一种可以保留原文词语顺序的词串模型,将文本表示为概念空间中的向量串,并提出两种向量串相似度计算方法,设计了一个拟k-NN分类器,并通过实验对词串模型的性能进行了验证。论文主要成果如下:①提出了一种基于类标的简明语义分析技术。简明语义分析技术是针对文本分类提出的一种文本表示技术,可以将文本表示在被类标派生出来的概念所构成的空间中。根据语料库的不同,本文提出直接派生、拆分派生和组合派生三种派生方式。针对不同的语料库可以选取不同的方式,构造简洁有效的概念空间。②提出了一种词语与概念之间相关度计算的方法。本文提出的方法基于信息集中度的思想,将文本长度当做词语重要性的一个影响因素,实现了词语在概念空间中的有效表示,并通过对比实验证明了简明语义分析在文本分类应用中的有效性。③对简明语义分析的可扩展性和并行化做了深入分析。证明了简明语义分析良好的可扩展性和并行化简明语义分析的高效率,为简明语义分析在大规模数据集上的应用奠定了理论基础。④提出了一种可以保留词序的词串表示模型,将文本表示为概念空间中的向量串,使得形式化后的数据可以还原原文的语义流向信息。同时提出并设计了两种向量串相似度计算方法,设计了一个拟k-NN分类器,通过实验和分析证明了词串模型在分类精度上优于词袋模型。⑤将简明语义分析应用到手机新闻推荐系统,构建了一个具用占有网络带宽小、信息覆盖面全和可有效保护用户隐私的手机新闻推荐系统,并给出了一个原型系统。