基于计算机的口语考试系统使考生能够在计算机上完成口语考试，评分者使用评分子系统完成评分工作，在大规模口语考试中体现出了很强的优势。使用评分子系统进行评分的方式在评分工具、评分对象、评分工作量等方面，较传统口语考试发生了改变，这些方面的改变是否对评分质量产生影响以及能否进一步利用计算机技术，对评分子系统进行改进，是本文主要的研究问题。 作者首先在文献调研的基础上，对传统口语测试中评分质量的影响因素、提高评分质量的方法等进行整理归纳。同时，针对评分子系统，设计相应的教育实验，从评分者使用评分子系统的反馈、评分信度、评分严厉度以及计算机自动评分的可行性等方面展开研究。 实验结果表明：1)评分者主观上对使用评分子系统进行口语评分工作持赞同态度。2)评分者普遍认为使用评分子系统能够减轻他们的工作量。3)评分子系统所使用的评分量表表现尚可，但还是存在着进一步完善的空间。4)经过评分前培训的评分者对评分量表的使用结果基本是满意的。5)计算机自动评分能达到较高的评分信度，基本可以代替人力，批量完成朗读题的评分任务。同时也发现评分者在使用评分子系统过程中，存在快速评分现象，评分者之间存在评分不一致等问题。 针对上述存在问题和研究结论，作者设计了评分子系统的改进方案，方案提出在评分子系统中增加评分样本查看、评分监控器以及计算机对朗读试题自动评分功能，并详细论述了评分监控器的设计方案(评分监控器的基本业务类、总体类结构、XML配置文件、评分行为监控算法)和计算机自动评分功能在系统中的具体实现。