论文部分内容阅读
文本相似度的计算是文本挖掘的基础。传统的基于向量空间模型（VSM）的文本相似度计算方法把文本映射成词向量，再利用余弦距离公式来计算相似度，这样存在文本向量维数过高以及语义敏感度差的问题。针对以上问题，通过对词性以及权值大小的过滤可以缩减特征词规模，在一定程度上可以减少高维稀疏的情况发生，并且引入LDA模型的文本隐含主题特征，增加文本表示的语义背景，通过线性加权的方式结合VSM模型的特征词特征和LDA模型的主题特征，计算文本相似度。实验表明，与单独使用VSM模型和LDA模型比较，利用加权特征计算文本相似度有