论文部分内容阅读
全国大学生英语四六级网考在教育部的推进下渐渐成形,四六级作文的自动评分成为一个随之出现的新课题。以往四六级作文阅卷采用人工评分,工作量很大,且很难保证评分的准确性和客观性。随着参考人数的增多,这一问题日益突出。因此,迫切需要一种客观、准确、高效的作文自动评分系统来减轻人工评分的工作强度。伴随着四六级网考改革的逐渐展开,如何科学合理地对四、六级英语作文进行评分成为四六级网考实施的主要瓶颈之一。
对于英语作文的评分,一般是从内容和语言两方面来进行的。
作文文本的表示通常采用向量空间模型(Vector Space Model,VSM),但是考虑到不同学生的表达习惯、知识水平各不相同,对同一个概念可能有不同的表达方式,会出现大量的近义词、同义词、多义词,而VSM却假设词间相互独立,所以采用VSM表示作文内容不尽合理,而采用潜在语义分析(Latent Semantic Analyze,LSA)的方法来表示作文内容则克服了上述VSM的局限性。LSA假设文本中存在某种潜在的语义结构,这种潜在的语义结构隐含在文本中词语的上下文使用模式中,可利用统计方法获得,其核心思想是通过奇异值分解将文档向量和词向量投影到一个低维空间,使得相互之间有关联的作文即使没有相同的词也能获得近似的向量表示。本文分别以VSM和LSA作为作文内容评分的模型,进行了比较分析。由对比实验得出的结论是:基于LSA模型得到的对作文内容的机器评分与教师评分具有最小的误差。因为全国大学四六级英语考试这样的大规模考试提供了大量作文集合,从这些大量的作文集合中,采用统计的方法可以计算出哪些单词更能表征作文的内容,从而提取出这些单词作为表征作文内容的特征项。这些特征项在一起构成了表征作文内容的特征向量。
对于作文的语言方面的评分,本文从词汇、语法、句法结构三个角度抽取若干特征来度量作文的语言质量,并采用最新的自然语言处理技术,使获得的评分变量更加合理。对于作文中可能出现的语法错误,解决方法是定义描述常用英语语法错误的XML规则文件,通过将待评分作文文本与错误语法规则的模式一一匹配来检查语法错误,对于句法结构多样性可以通过句法分析器Stanford Parser来提取句子树状结构,提取每个句子中不同种类从句个数、不同词性单词个数等变量作为作文的语言学特征,这些特征相对于以前的系统中的浅层语言评分变量更加具体、更有说服力。
在对作文的评分方面采用了机器学习的方法将教师已评分的部分作文从内容和语言方面分别给出对应的特征向量作为学习样本,从而组成一个样本空间,对待测文本利用KNN(K nearneighbor)算法对作文进行评分。最后对作文内容和语言两方面的得分进行加权求和。