论文部分内容阅读
藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式，是藏文文本分类、文本聚类等领域特征抽取的前提。传统的藏文文本表示方法较少考虑特征项之间的关联度，容易造成语义损失。为此，结合向量空间模型，提出一种新的藏文文本表示方法。提取文本中词频统计TF—IDF值较高的部分词项作为对比词项，对藏文文本进行断句处理，以每个句子作为一个语境主题，利用卡方统计量计算文本中词项与对比词项的关联程度。实验结果表明，与传统的向量空间模型相比，该方法能更准确地表示藏文文本。