文本表示算法的研究意义重大。目前常用的两种文本表示算法是以词袋模型为代表的统计语言模型和概率神经语言模型,然而统计语言模型和概率神经网络为代表的文本表示算法都有不足之处:统计语言模型简单,但向量空间的维度太大,后续计算复杂度太高;概率神经语言模型得到的特征向量质量好,向量的压缩率高,但模型本身复杂,参数多,模型本身的计算复杂度太高。本文主要对基于词向量的文本表示模型进行改进。基于词向量的文本表示模型的好坏依赖于词向量的质量,词的分布式表示优于词的one-hot表示,所以可以通过将词的one-hot表示替换成词的分布式表示来改善文本表示模型的质量。首先是对词袋模型的改进。词袋模型可以看成是用词的one-hot表示相加来表示文本向量,模型改进方向:(1)用词的分布式表示相加表示文本向量;(2)在一的基础上进一步用汉字的分布式表示相加表示文本向量。这样做的效果:(1)可以进行有效地降低数据维度,降低后续计算的复杂度;(2)可以省去分词环节,有效降低模型的复杂度。其次是对Crepe模型的改进。该模型对中文数据的处理是将中文文本转化成拼音,然后对每个英语字符采用one-hot表示,最后将文本矩阵输入CNN网络。模型的改进是获得每个汉字的分布式表示,组成文本矩阵,输入到CNN网络进行特征学习。改进后的效果:(1)CNN网络的输入数据维度降低;(2)模型的训练时间大幅下降。最后,论文对改进的词袋模型做了一个实现:关于评论的情感预测的演示系统。