作为一种智能化教学平台,面向编程学习的线上自动评分系统（Online Judge,OJ）逐步在高等学校中推广使用,一方面可以让学生完成线上编程并及时获得分数反馈,另一方面帮助教师及时了解学生编程能力情况进而改进教学方法。基于动态测试的程序自动评分方法是当前应用最广泛的一种方法。该方法根据被测程序通过测试用例的数目自动计算分数,但如果程序算法逻辑基本正确,因某个细节错误造成所有测试用例失败,程序依旧会得零分。本课题首先对基于动态评分方法的在线测评系统采集实际数据并开展实证研究。结果表明,尽管OJ系统在计算机教育教学领域被广泛应用,但因该评分方法只判定最终结果对错,造成学生成绩两极分化严重,同时不能合理有效地反映出学生实际编程能力。针对上述问题,本课题进一步考虑在评分方法中增加编程逻辑判定,提出一种数据驱动的程序自动评分方法。该方法通过提取程序语法、语义和控制流特征实现程序算法逻辑表征,并进一步训练分类器模型实现程序自动评分。课题同时提出一种基于程序Token距离的自动打标签方法,有效解决了人工给程序打标签存在误差且费时费力问题,提高了分类器模型训练效率。为开展实验研究,本课题通过设计开发Visual Studio Code插件收集了48530份用户编程数据,针对六种常用分类器模型进行五次独立重复实验,使用平均绝对误差、平均误差、皮尔逊相关系数作为程序成绩的评估指标评估方法的有效性。实验结果表明,随机森林具有最佳评分表现,其平均绝对误差、平均误差以及皮尔逊相关系数的值分别为0.20、0.04和0.95。在对比Srikant等人和Singh等人提出的两种基于机器学习的程序自动评分方法的实验中,本课题提出的程序自动评分方法相较于Srikant等人的方法,三个评估指标的性能分别提高20%、20%和1%;相较于Singh等人的研究,三个指标性能也有明显提升。这表明本课题评分方法准确性有较大提升,预测分数和实际分数之间的相关性更强。在此基础上,本课题通过构建特征子集进行消融实验,进一步分析不同特征组合对程序评分准确性的影响以及不同特征对最终评分结果的贡献程度。最后,本课题根据教师的日常教学需求设计程序自动评分系统原型,详细介绍该系统的评分算法与流程步骤,为系统开发提供了技术与理论支持。