论文部分内容阅读
自动评分任务是给定学生答案,要求计算机依据参考答案预测对应分值。自动评分是智慧教育的一个研究热点,可以有效增加评分一致性。本文以中文简答题自动评分作为研究对象,对其进行分析与研究,主要工作如下:(1)基于注意力机制的自动评分策略。本文使用注意力机制刻画学生答案与参考答案的语义匹配情况,实现了自动评分模型Att-Grader。该模型首先通过长短期记忆网络对学生答案与参考答案进行序列编码;然后,利用互注意力机制进一步捕获二者的语义信息,最后通过卷积神经网络预测分值。中文数据集的实验结果表明:引入注意力机制的评分模型相较于基线模型在准确率评价指标上提高了1.9%-14.7%。(2)基于参考答案集构建的自动评分策略。针对参考答案不能完全覆盖多样性的学生答案的问题,本文提出构建参考答案集扩充原有参考答案的思想。具体为:首先对满分学生答案进行聚类;其次通过相似度计算得出每一簇的代表性答案;最后将代表性答案组合为参考答案集。将参考答案集与Att-Grader评分模型相结合,对学生答案进行分值预测,在中文数据集上进行实验,结果显示:融入参考答案集的Att-Grader评分模型在准确率评价指标上最大提升了3%。(3)基于数据增强的自动评分策略。本文尝试使用数据增强方法来克服训练数据集不足的问题。具体使用三种数据增强方法:基于关键词替换的数据增强、基于回译的数据增强、基于软增强的数据增强。在中文数据集上对三种数据增强方法进行测试,结果显示:基于软上下文的数据增强训练在Att-Grader模型上效果最好。本文对中文简答题自动评分进行了探索,主要贡献有:(1)尝试使用注意力机制刻画学生答案与参考答案之间的匹配程度,并构建自动评分模型Att-Grader;(2)构建参考答案集,缓解参考答案不能完全覆盖多样性的学生答案的问题;(3)将数据增强技术应用到自动评分任务,提高自动评分准确率。