论文部分内容阅读
【摘 要】由于汉语言的复杂性、灵活性，目前对于主观性试题的自动化智能批改还没有获得实质性突破，该论文改革繁赘的已有思路，提出一种自动化批改简答题的简便实用思路。用“或”关系补充关键词的近义词，进行广覆盖的主观试题判读方法。以该方法设计出的拟题批改软件系统，经过多方使用，取得较好效果。
【关键词】或关系 关键词 主观题 自动化批改
研究背景
当前，计算机对单选题、多选、判断、填空等客观题的自动化批改应用已相当成熟。但对于自动化批改主观题，还停留在深入研究阶段，主要在人工智能，计算机对人的自然语言理解以及模式识别方面，没有获得突破。所以主观题的大批量批改还主要依靠人工。而人工批改存在批改速度慢，教师由于疲劳出现判断力下降，容易产生人为因素导致的分数偏差。用计算机智能化批改，效率高、公平性好、准确性强。特别适用于大批量的试卷批改，所以，研究对主观试题的自动化智能批改具有非常广泛的现实意义。
国内外研究自动化批改主观题的现状和存在的问题
国外对于自动化批改主观题的研究，早于国内。由于英语语言的格式和规范性好，所以批改英文主观试题的技术比较成熟。中文语言的表达较为复杂，灵活性强，字与字之间无明显分割，从国内一些大学及中科院最新的研究成果看，汉语主观题的自动化批改技术还不成熟，仅能判读有限领域的简答题，名词解释等类试题，且均需大量输入数据，先建立词库、语料库及答案、得分权值等，使用操作繁琐，劳动强度大，不易普及应用。
研究的思路和方法
鉴于现状，笔者进行过多次反复研究对比，采用了一套比较简捷实用的方法，以解决主观题自动化批改简便实用，易于掌握的问题。主要方法如下：
1.脱离开销庞大的词库、词典，知识库、语料库。在实际中用于中，词库不一定及时包含新词或变意词，另外，中文词义的歧义性也使得词库中的词不能完整表达词的真意。
2.对拟题者输入参考答案时要求不能太高，应容易理解、掌握且方便。
3.通过对词序的分析，能准确理解短语和整句语义。
4.近义词与关键词的贴近度计算，简化为由拟题人员根据题意及“或”关系词的贴近度，设置批改时的贴近度系数。
5.所有的考题要点均为关键词，也是得分点。一般主要把得分点放在实词上，如：名词、动词（系动词除外）、形容词等，一般不包括虚词，一般句子的必要部分必须为关键词，否定词必须为关键词。
主要研究成果
1.试卷界面的设置
软件系统的设计目标是答题状态界面与纸质界面相同，答案与原题保存在一个试卷文件中，既利于管理查阅，更便于答题者在答题时熟悉试题界面尽早进入答题状态。
每一小题以一对英文括号成为一试题，在括号内答题者可任意书写（一般不超过300字符），括号外被锁定。拟题时该试题的答案应直接书写在该括号内，当生成试题后，该括号内为空即成为试题，等待答题者填写。在回答客观试题时，用鼠标单击字符，然后在括号内的任意位置单击鼠标释放字符。
2.系统进行了绿色设计
改进了广域网络考试必须建立网站进行考试的弊端，不用投入资金和维护人员，不用软件安装，仅利用现有互联网就可完成考试和加密试卷的传送过程，系统也能满足在局域网中，一门或多门课程的同时随机考试。
3.用“或”关系词补充关键词的近义表达
（1）关键词“或”关系词的表达方法。在简答题中，以关键词为得分点，关键词即是考点也是整句不可或缺的词，它们之间用#号分割，如句子：
“轴承所承受载荷的大小，方向和性质是选择轴承类型的主要依据。”此句如果不考虑多种表达方式的标准答案是（#轴承#承受载荷#大小#方向#性质#是#选择#轴承#主要#依据#）。
假若用上面的标准答案来批改考生的答题，会出现许多考生得分不公的问题。因为，上面的“承受载荷”考生可用“承载”词代替，“选择”可用“选用、选取”等近义词代替。学生用近义词写出答案，应该获得一定的分值，而不应无分。
若考虑到学生的多种可能表达写法，用“或”关系词（近义词）的表达，则上句标准答案为：
（#轴承#承受或承担或承载#载荷或负荷#大小方向或方向大小#性质#是或作为#选则或选取或选定或选用#轴承#主要或重要#依据#）。
上例中根据中文的近义词，用“或”字表达考生填写文字可能出现的多种情况，使考生获得应得分。分析中文词典可知，一个字词的“或”关系近义词一般不会超过四个，在各门专业领域能达到有四个近义关系词的更少。
在这里，要注意的是关键词之间尽可能连词表达。比如：“水下自动机器人”可表达为：
（#水下自动或自动水下#机器人#）。但不能表达为（#水下或自动#自动或水下#机器人#），否则，当答题者回答是：“水下水下机器人”时，批改的结果也会得分，但显然不能得全分。避免此种情况发生的办法是要设定批改程序有词序要求（在软件批改菜单中设定）。
（2）关键词、近义词的分值计算。系统采用每一个试题分值由程序自动平均分配到该试题答案中的每一个关键词上。
对于关键词中有“或”关系表达的近义词情况，在软件设计的批改功能中，采用设置贴近度系数的方法获得各近义词的分值，按“或”关系词的远近程度，设四个分值系数，最大值为1，最小值为0值，1表示按均分原值赋值，0表示不给近义词赋分值，0.8表示按原分值的80%赋给该近义词分值。并设计了对于有、无词序要求的开关值。贴近度系数设置有如下两种：
①无词序要求，不按词序要求，只要答对关键词、近义词，就可得分，贴近度系数：1，0.8，0.6，0.4，0。②有词序要求，只有依词序顺序答对，才能得全部分或部分分值，贴近度系数：1，0.8，0.6，0.4，1。以上的系数值可根据词的近义情况重新设定其值。两个词的相似程度，用贴近度系数来衡量，系数越大，表示两个词越近义，得分越高。设某题分值为f， 答案中共有n个关键词，每个关键词分值为f/n，并存“或”关系词，该题的总得分值为Z，则 Z= ∑（f/n）﹢∑（f/n）×0.8﹢∑（f/n）×0.6﹢∑（f/n）×0.4，若该试题没有“或”关系词，则 Z=∑（f/n）。
4.并列填空的填答处理方法
在拟题试卷中用一对符号“^”，通过程序自动辨别有、无顺序要求的并列填空。如：某题中有五个空需要填答，且不管填写顺序。则生成试题后的卷面表达为^（ ），（ ），（ ），（ ），（ ）^。程序暂设最多可辨认8个并列填空。对于简答题也用此法处理各答题要点无先后顺序要求的情况。
如：^（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）
（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）
（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）^
基于“或”关系词覆盖的自动化批改主观题软件的使用效果
软件系统通过在机械、电气、经济、政治、教师继续教育等课程教学考试中的应用，取得了比较好的效果，用户认为使用方便，易于掌握，批改准确，实用高效，能够解决简答题的自动化批改问题。
参考文献：
[1]刘瑞新，李树东，万朝阳.visual basic程序设计教程[J].电子工业出版社，2000，8.
[2]孟爱国，卜胜贤，李鹰，甘文.一种网络考试系统中主观题自动化评分的算法设计与实践[J].计算机与数字工程，2005，7（33）.
作者单位：西安市工业技工学校 陕西西安
【关键词】或关系 关键词 主观题 自动化批改
研究背景
当前，计算机对单选题、多选、判断、填空等客观题的自动化批改应用已相当成熟。但对于自动化批改主观题，还停留在深入研究阶段，主要在人工智能，计算机对人的自然语言理解以及模式识别方面，没有获得突破。所以主观题的大批量批改还主要依靠人工。而人工批改存在批改速度慢，教师由于疲劳出现判断力下降，容易产生人为因素导致的分数偏差。用计算机智能化批改，效率高、公平性好、准确性强。特别适用于大批量的试卷批改，所以，研究对主观试题的自动化智能批改具有非常广泛的现实意义。
国内外研究自动化批改主观题的现状和存在的问题
国外对于自动化批改主观题的研究，早于国内。由于英语语言的格式和规范性好，所以批改英文主观试题的技术比较成熟。中文语言的表达较为复杂，灵活性强，字与字之间无明显分割，从国内一些大学及中科院最新的研究成果看，汉语主观题的自动化批改技术还不成熟，仅能判读有限领域的简答题，名词解释等类试题，且均需大量输入数据，先建立词库、语料库及答案、得分权值等，使用操作繁琐，劳动强度大，不易普及应用。
研究的思路和方法
鉴于现状，笔者进行过多次反复研究对比，采用了一套比较简捷实用的方法，以解决主观题自动化批改简便实用，易于掌握的问题。主要方法如下：
1.脱离开销庞大的词库、词典，知识库、语料库。在实际中用于中，词库不一定及时包含新词或变意词，另外，中文词义的歧义性也使得词库中的词不能完整表达词的真意。
2.对拟题者输入参考答案时要求不能太高，应容易理解、掌握且方便。
3.通过对词序的分析，能准确理解短语和整句语义。
4.近义词与关键词的贴近度计算，简化为由拟题人员根据题意及“或”关系词的贴近度，设置批改时的贴近度系数。
5.所有的考题要点均为关键词，也是得分点。一般主要把得分点放在实词上，如：名词、动词（系动词除外）、形容词等，一般不包括虚词，一般句子的必要部分必须为关键词，否定词必须为关键词。
主要研究成果
1.试卷界面的设置
软件系统的设计目标是答题状态界面与纸质界面相同，答案与原题保存在一个试卷文件中，既利于管理查阅，更便于答题者在答题时熟悉试题界面尽早进入答题状态。
每一小题以一对英文括号成为一试题，在括号内答题者可任意书写（一般不超过300字符），括号外被锁定。拟题时该试题的答案应直接书写在该括号内，当生成试题后，该括号内为空即成为试题，等待答题者填写。在回答客观试题时，用鼠标单击字符，然后在括号内的任意位置单击鼠标释放字符。
2.系统进行了绿色设计
改进了广域网络考试必须建立网站进行考试的弊端，不用投入资金和维护人员，不用软件安装，仅利用现有互联网就可完成考试和加密试卷的传送过程，系统也能满足在局域网中，一门或多门课程的同时随机考试。
3.用“或”关系词补充关键词的近义表达
（1）关键词“或”关系词的表达方法。在简答题中，以关键词为得分点，关键词即是考点也是整句不可或缺的词，它们之间用#号分割，如句子：
“轴承所承受载荷的大小，方向和性质是选择轴承类型的主要依据。”此句如果不考虑多种表达方式的标准答案是（#轴承#承受载荷#大小#方向#性质#是#选择#轴承#主要#依据#）。
假若用上面的标准答案来批改考生的答题，会出现许多考生得分不公的问题。因为，上面的“承受载荷”考生可用“承载”词代替，“选择”可用“选用、选取”等近义词代替。学生用近义词写出答案，应该获得一定的分值，而不应无分。
若考虑到学生的多种可能表达写法，用“或”关系词（近义词）的表达，则上句标准答案为：
（#轴承#承受或承担或承载#载荷或负荷#大小方向或方向大小#性质#是或作为#选则或选取或选定或选用#轴承#主要或重要#依据#）。
上例中根据中文的近义词，用“或”字表达考生填写文字可能出现的多种情况，使考生获得应得分。分析中文词典可知，一个字词的“或”关系近义词一般不会超过四个，在各门专业领域能达到有四个近义关系词的更少。
在这里，要注意的是关键词之间尽可能连词表达。比如：“水下自动机器人”可表达为：
（#水下自动或自动水下#机器人#）。但不能表达为（#水下或自动#自动或水下#机器人#），否则，当答题者回答是：“水下水下机器人”时，批改的结果也会得分，但显然不能得全分。避免此种情况发生的办法是要设定批改程序有词序要求（在软件批改菜单中设定）。
（2）关键词、近义词的分值计算。系统采用每一个试题分值由程序自动平均分配到该试题答案中的每一个关键词上。
对于关键词中有“或”关系表达的近义词情况，在软件设计的批改功能中，采用设置贴近度系数的方法获得各近义词的分值，按“或”关系词的远近程度，设四个分值系数，最大值为1，最小值为0值，1表示按均分原值赋值，0表示不给近义词赋分值，0.8表示按原分值的80%赋给该近义词分值。并设计了对于有、无词序要求的开关值。贴近度系数设置有如下两种：
①无词序要求，不按词序要求，只要答对关键词、近义词，就可得分，贴近度系数：1，0.8，0.6，0.4，0。②有词序要求，只有依词序顺序答对，才能得全部分或部分分值，贴近度系数：1，0.8，0.6，0.4，1。以上的系数值可根据词的近义情况重新设定其值。两个词的相似程度，用贴近度系数来衡量，系数越大，表示两个词越近义，得分越高。设某题分值为f， 答案中共有n个关键词，每个关键词分值为f/n，并存“或”关系词，该题的总得分值为Z，则 Z= ∑（f/n）﹢∑（f/n）×0.8﹢∑（f/n）×0.6﹢∑（f/n）×0.4，若该试题没有“或”关系词，则 Z=∑（f/n）。
4.并列填空的填答处理方法
在拟题试卷中用一对符号“^”，通过程序自动辨别有、无顺序要求的并列填空。如：某题中有五个空需要填答，且不管填写顺序。则生成试题后的卷面表达为^（ ），（ ），（ ），（ ），（ ）^。程序暂设最多可辨认8个并列填空。对于简答题也用此法处理各答题要点无先后顺序要求的情况。
如：^（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）
（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）
（#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#）^
基于“或”关系词覆盖的自动化批改主观题软件的使用效果
软件系统通过在机械、电气、经济、政治、教师继续教育等课程教学考试中的应用，取得了比较好的效果，用户认为使用方便，易于掌握，批改准确，实用高效，能够解决简答题的自动化批改问题。
参考文献：
[1]刘瑞新，李树东，万朝阳.visual basic程序设计教程[J].电子工业出版社，2000，8.
[2]孟爱国，卜胜贤，李鹰，甘文.一种网络考试系统中主观题自动化评分的算法设计与实践[J].计算机与数字工程，2005，7（33）.
作者单位：西安市工业技工学校 陕西西安