论文部分内容阅读
摘 要：依照教學目的进行划分，把课堂上的教学互动分为3类：检验互动、启发互动和测试互动。针对其中测试互动类问卷，预留过短的答题时间会影响问卷信度，过长的答题时间又会影响课堂满意度。该文结合近3年的课堂实践数据，以层次分析法和价格敏感测试法为对象，重点分析了327个样本答题时长和一致性系数之间的关系，发现：首先课堂上答题时长和问卷信度并没有正相关性，其次平均答题时长近似服从均值为8.4 s，标准差为3.6的正态分布，最后建议数据分析类课程应开设在低年级学期。
关键词：数据分析 测试互动 答题时长 一致性系数 问卷信度 正态分布
中图分类号：G642 文献标识码：A文章编号：1672-3791（2021）05（c）-0011-06
Analysis on Test Questionnaire Length from College Data Analysis Type Courses
CHEN Mo
（School of Management， Tianjin University of Commerce， Tianjin， 300134 China）
Abstract： Divided by teaching goals， teaching interaction has three types： verification interaction， enlightenment interaction and test interaction. Aiming at test interaction questionnaire， too short answer time will lower questionnaire reliability， and too long answer time will lower student satisfaction. This paper analyzes the relationship between answer length and consistency coefficient in the past three years from 327 samples， based on Analytic Hierarchy Process and Price Sensitivity Measure. First， there is not positive correlation between class answer length and questionnaire reliability. Second， average answer length nearly obeys a normal distribution with mean 8.4 seconds and standard variance 3.6. Last， data analysis class should open in junior grade.
Key Words：Data analysis; Test interaction; Answer length; Consistency coefficient; Questionnaire reliability; Normal distribution
随着信息的愈加多元化，大数据资深分析专家和决策经理分析师的缺口均在几十万和上百万人[1]，因此我国很多高校都会要求不同专业学生学习该类课程，但是侧重点有所区别，比如有的侧重商业数据分析，有的侧重统计类分析，还有的侧重机器学习预测，等等[2]。现今高校的很多课程都越来越重视互动教学[3]，其中在数据分析类课程中体现的特别明显[4]。相应的，一些教学辅助软件也为互动教学配置了相应功能模块，以雨课堂为例，就包括单选题、多选题、填空题和主观题4种方式[5]。互动教学的目的可以分为3类，第一类可以概括为检验互动，它的主要作用是通过少量试题来检验学生当堂的听课效果，同时可以对走神的同学起到警示作用。第二类为启发互动，它通过一个引导问题让同学进行发散思维，分析大家的答案后再引出下面要讲授的问题。第三类为测试互动，它通过设计问卷来测试学生对知识的掌握程度，也可以让学生结合所学知识对自己的数据进行分析，达到巩固练习的目的。
数据分析类课程需要学生一定的参与度，因此通过课堂测试互动来布置作业是教师的一个常用手段，相比抽取题库里的作业，这种方式更能提高学生的兴趣。测试互动在课堂应用中面临的主要问题是问卷长度与问卷信度的权衡[6]，Jepson等研究者在2005年研究了问卷长度与答题人回应比例的关系，发现问卷过长的话回应比例明显下降[7]。另外，Yan等研究者在2010年指出有影响受访者作答的因素主要有3个：（1）预留的答题时间;（2）实际问卷的长度;（3）是否有答题进度提示[8]。但以上研究没有阐述如果问卷长度适中，预留多长答题时间的问题。在实际课堂上，教师会尽可能给学生留出时间让所有同学都完成问卷，期望可以收到质量更高和更多的数据，但同时部分学生也会认为过长的答题时间对部分较早完成的同学产生一种不公平，降低了课堂满意度[9]。
从执行情况来看，答题时间较长的问卷也会出现信度较低的情况，当然如果答题时间过短，问卷的信度也肯定是无法保证的[10]。该文拟结合近3年来数据分析课程的实践数据，从测试问卷答题时长和信度的角度进行研究和分析。
1 样本描述
1.1 样本选取 横坐标是每个样本的平均答题时长，可以看到平均时长大多分布在4～10 s，纵坐标表示一致性系数CP，CP值越低说明一致性越好，取值方向与CR值是一致的，右上角表格是不同CP的样本量占总样本量的百分比，可以发现有62.7%的学生作答是完全符合PSM逻辑要求的，0.17及以下的占比为80.3%，样本的不良率还是比较低的。
3 测试结果总结
3.1 AHP的分析总结
（1）剔除过快和过慢以及CR值过高的学生，教学问题的平均答题时长在9.1 s，手机问题的平均答题时长在9.2 s，很接近。
（2）教学问题CR值较高的学生答题时长在8～10 s，手机问题CR值较高的学生答题时长在5.2～10 s，可以发现CR较高学生的答题时长也是分布在均值附近的。
（3）从数据图可以看到，较短的答题时长与较高的CR值没有必然关系，同时较长的答题时长与较低的CR值也没有必然关系。
3.2 PSM的分析总结
（1）所有样本的平均答题时长是7.9 s。
（2）CP值较高样本的答题时间分布在4～10 s这个区间，有75%样本答题的时长也是落在该区间。
（3）平均时长在4 s以下的样本同时出现了高CP值和低CP值，平均时长在10 s以上样本的CP值主要分布在0档和0.25档，较长答题时长的样本分布相对集中，同时较长答题时长与较低CP值没有必然关系。
4 结论
通过3年的数据分析课程追踪，该文选取了AHP和PSM两个方法进行深入分析，目的是来对课堂上测试问卷的时长给出建议，同时也有了一些该类课程的建设心得，下面逐条进行阐述。
（1）从AHP和PSM的数据分析结果来看，问卷的答题时长与问卷答题质量之间没有正相关性，为了高完成比率而过度延长答题时间反而会将降低课堂的满意度。
（2）绘制了AHP和PSM一共327个样本的平均答题时长分布，具体见图6。横坐标的范围由327个样本的最小值和最大值决定，间隔了20组，每组间距1.1。左侧纵坐标表示模拟的正态分布概率值，右侧纵坐标表示每组的频数。可以发现，平均答题时长是接近服从均值为8.4，标准差为3.6的正态分布，则在95%的置信度下，平均时长的置信区间为[8.03， 8.81]，据此可以预估课堂测试互动的预留总时长。
（3）数据分析类课程还是尽早设立比较好，在课程建设时也有专家建议应该在统计类课程之后，一般来说是作为专业课放在第五学期，但是后面经过实践和学生调研，发现开设课程的时间需要提前，主要有两点原因。一是一般学生日常学习和实习接触到的数据分析，对于统计知识的要求并不高，掌握一些均值方差和分布的概念就可以了，没有必要太过强调统计知识的储备;二是目前像大学生创新创业训练计划（简称大创）之类的比赛参与度非常高，比賽的时间一般都是在春季学期，该课程的设置的时间点正好可以为大二学生打好数据基础。
参考文献
[1] 何海地.美国大数据专业硕士研究生教育的背景、现状、特色与启示——全美23所知名大学数据分析硕士课程网站及相关信息分析研究[J].图书与情报，2014（2）：48-56.
[2] 周傲英，周烜.数据专业人才培养方案与核心课程体系建设[J].中国大学教学，2020（6）：15-21，33.
[3] 王林平，高云涌.用科学的教学互动激发思政课课堂活力[J].中国大学教学，2020（11）：28-32.
[4] 沈玖玖，徐萍，张琴，等.大数据时代高校数据素养课程群构建研究[J].图书情报工作，2019，63（19）：66-74.
[5] 王成功，王君，曾雪莹，等.基于雨课堂的混合式教学在高校足球教学中的应用[J].当代体育科技，2020，10（32）：118-121，124.
[6] 赵志裕，康萤仪.问卷长度与作答型式的关系[J].心理学报，1988（1）：15-19.
[7] Jepson C，Asch D A，Hershey J C，et al.In a mailed physician survey， questionnaire length had a threshold effect on response rate[J].Journal of clinical epidemiology，2005，58（1）：103-105.
[8] Yan T，Conrad F G，Tourangeau R， et al. Should I Stay or Should I go： The Effects of Progress Feedback，Promised Task Duration，and Length of Questionnaire on Completing Web Surveys[J].International Journal of Public Opinion Research，2010，23（2）：131-147.
[9] 马莉萍，曹宇莲.同步在线教学中的课堂互动与课程满意度研究——以北京大学教育博士项目为例[J].现代教育技术，2020，30（8）：15-25.
[10] 柯友枝，孙建刚，张业安，等.问卷是否可信——基于体育核心期刊论文（2010—2018年）的系统分析[J].体育科学，2020，40（2）：90-97.
[11] Rolstad S， Adler J， RydEn A.Response Burden and Questionnaire Length： Is Shorter Better？ A Review and Meta-analysis[J]. Value in Health，2011，14（8）：1101-1108.
[12] 周鹏生.问卷长度、问卷项目性质与作答心向的关系[J].西北民族大学学报：自然科学版，2009，30（3）：82-85.
[13] 蔡红梅，许晓东.高校课堂教学质量评价指标体系的构建[J].高等工程教育研究，2014（3）：177-180.
[14] 王彩珍，李彬彬.基于数学模型对手机产品质量的分析[J].河南城建学院学报，2018，27（2）：85-92.
[15] 杨和财，徐颢.葡萄酒价值认知及定价敏感区研究[J].中国酿造，2011（7）：188-191.
关键词：数据分析 测试互动 答题时长 一致性系数 问卷信度 正态分布
中图分类号：G642 文献标识码：A文章编号：1672-3791（2021）05（c）-0011-06
Analysis on Test Questionnaire Length from College Data Analysis Type Courses
CHEN Mo
（School of Management， Tianjin University of Commerce， Tianjin， 300134 China）
Abstract： Divided by teaching goals， teaching interaction has three types： verification interaction， enlightenment interaction and test interaction. Aiming at test interaction questionnaire， too short answer time will lower questionnaire reliability， and too long answer time will lower student satisfaction. This paper analyzes the relationship between answer length and consistency coefficient in the past three years from 327 samples， based on Analytic Hierarchy Process and Price Sensitivity Measure. First， there is not positive correlation between class answer length and questionnaire reliability. Second， average answer length nearly obeys a normal distribution with mean 8.4 seconds and standard variance 3.6. Last， data analysis class should open in junior grade.
Key Words：Data analysis; Test interaction; Answer length; Consistency coefficient; Questionnaire reliability; Normal distribution
随着信息的愈加多元化，大数据资深分析专家和决策经理分析师的缺口均在几十万和上百万人[1]，因此我国很多高校都会要求不同专业学生学习该类课程，但是侧重点有所区别，比如有的侧重商业数据分析，有的侧重统计类分析，还有的侧重机器学习预测，等等[2]。现今高校的很多课程都越来越重视互动教学[3]，其中在数据分析类课程中体现的特别明显[4]。相应的，一些教学辅助软件也为互动教学配置了相应功能模块，以雨课堂为例，就包括单选题、多选题、填空题和主观题4种方式[5]。互动教学的目的可以分为3类，第一类可以概括为检验互动，它的主要作用是通过少量试题来检验学生当堂的听课效果，同时可以对走神的同学起到警示作用。第二类为启发互动，它通过一个引导问题让同学进行发散思维，分析大家的答案后再引出下面要讲授的问题。第三类为测试互动，它通过设计问卷来测试学生对知识的掌握程度，也可以让学生结合所学知识对自己的数据进行分析，达到巩固练习的目的。
数据分析类课程需要学生一定的参与度，因此通过课堂测试互动来布置作业是教师的一个常用手段，相比抽取题库里的作业，这种方式更能提高学生的兴趣。测试互动在课堂应用中面临的主要问题是问卷长度与问卷信度的权衡[6]，Jepson等研究者在2005年研究了问卷长度与答题人回应比例的关系，发现问卷过长的话回应比例明显下降[7]。另外，Yan等研究者在2010年指出有影响受访者作答的因素主要有3个：（1）预留的答题时间;（2）实际问卷的长度;（3）是否有答题进度提示[8]。但以上研究没有阐述如果问卷长度适中，预留多长答题时间的问题。在实际课堂上，教师会尽可能给学生留出时间让所有同学都完成问卷，期望可以收到质量更高和更多的数据，但同时部分学生也会认为过长的答题时间对部分较早完成的同学产生一种不公平，降低了课堂满意度[9]。
从执行情况来看，答题时间较长的问卷也会出现信度较低的情况，当然如果答题时间过短，问卷的信度也肯定是无法保证的[10]。该文拟结合近3年来数据分析课程的实践数据，从测试问卷答题时长和信度的角度进行研究和分析。
1 样本描述
1.1 样本选取 横坐标是每个样本的平均答题时长，可以看到平均时长大多分布在4～10 s，纵坐标表示一致性系数CP，CP值越低说明一致性越好，取值方向与CR值是一致的，右上角表格是不同CP的样本量占总样本量的百分比，可以发现有62.7%的学生作答是完全符合PSM逻辑要求的，0.17及以下的占比为80.3%，样本的不良率还是比较低的。
3 测试结果总结
3.1 AHP的分析总结
（1）剔除过快和过慢以及CR值过高的学生，教学问题的平均答题时长在9.1 s，手机问题的平均答题时长在9.2 s，很接近。
（2）教学问题CR值较高的学生答题时长在8～10 s，手机问题CR值较高的学生答题时长在5.2～10 s，可以发现CR较高学生的答题时长也是分布在均值附近的。
（3）从数据图可以看到，较短的答题时长与较高的CR值没有必然关系，同时较长的答题时长与较低的CR值也没有必然关系。
3.2 PSM的分析总结
（1）所有样本的平均答题时长是7.9 s。
（2）CP值较高样本的答题时间分布在4～10 s这个区间，有75%样本答题的时长也是落在该区间。
（3）平均时长在4 s以下的样本同时出现了高CP值和低CP值，平均时长在10 s以上样本的CP值主要分布在0档和0.25档，较长答题时长的样本分布相对集中，同时较长答题时长与较低CP值没有必然关系。
4 结论
通过3年的数据分析课程追踪，该文选取了AHP和PSM两个方法进行深入分析，目的是来对课堂上测试问卷的时长给出建议，同时也有了一些该类课程的建设心得，下面逐条进行阐述。
（1）从AHP和PSM的数据分析结果来看，问卷的答题时长与问卷答题质量之间没有正相关性，为了高完成比率而过度延长答题时间反而会将降低课堂的满意度。
（2）绘制了AHP和PSM一共327个样本的平均答题时长分布，具体见图6。横坐标的范围由327个样本的最小值和最大值决定，间隔了20组，每组间距1.1。左侧纵坐标表示模拟的正态分布概率值，右侧纵坐标表示每组的频数。可以发现，平均答题时长是接近服从均值为8.4，标准差为3.6的正态分布，则在95%的置信度下，平均时长的置信区间为[8.03， 8.81]，据此可以预估课堂测试互动的预留总时长。
（3）数据分析类课程还是尽早设立比较好，在课程建设时也有专家建议应该在统计类课程之后，一般来说是作为专业课放在第五学期，但是后面经过实践和学生调研，发现开设课程的时间需要提前，主要有两点原因。一是一般学生日常学习和实习接触到的数据分析，对于统计知识的要求并不高，掌握一些均值方差和分布的概念就可以了，没有必要太过强调统计知识的储备;二是目前像大学生创新创业训练计划（简称大创）之类的比赛参与度非常高，比賽的时间一般都是在春季学期，该课程的设置的时间点正好可以为大二学生打好数据基础。
参考文献
[1] 何海地.美国大数据专业硕士研究生教育的背景、现状、特色与启示——全美23所知名大学数据分析硕士课程网站及相关信息分析研究[J].图书与情报，2014（2）：48-56.
[2] 周傲英，周烜.数据专业人才培养方案与核心课程体系建设[J].中国大学教学，2020（6）：15-21，33.
[3] 王林平，高云涌.用科学的教学互动激发思政课课堂活力[J].中国大学教学，2020（11）：28-32.
[4] 沈玖玖，徐萍，张琴，等.大数据时代高校数据素养课程群构建研究[J].图书情报工作，2019，63（19）：66-74.
[5] 王成功，王君，曾雪莹，等.基于雨课堂的混合式教学在高校足球教学中的应用[J].当代体育科技，2020，10（32）：118-121，124.
[6] 赵志裕，康萤仪.问卷长度与作答型式的关系[J].心理学报，1988（1）：15-19.
[7] Jepson C，Asch D A，Hershey J C，et al.In a mailed physician survey， questionnaire length had a threshold effect on response rate[J].Journal of clinical epidemiology，2005，58（1）：103-105.
[8] Yan T，Conrad F G，Tourangeau R， et al. Should I Stay or Should I go： The Effects of Progress Feedback，Promised Task Duration，and Length of Questionnaire on Completing Web Surveys[J].International Journal of Public Opinion Research，2010，23（2）：131-147.
[9] 马莉萍，曹宇莲.同步在线教学中的课堂互动与课程满意度研究——以北京大学教育博士项目为例[J].现代教育技术，2020，30（8）：15-25.
[10] 柯友枝，孙建刚，张业安，等.问卷是否可信——基于体育核心期刊论文（2010—2018年）的系统分析[J].体育科学，2020，40（2）：90-97.
[11] Rolstad S， Adler J， RydEn A.Response Burden and Questionnaire Length： Is Shorter Better？ A Review and Meta-analysis[J]. Value in Health，2011，14（8）：1101-1108.
[12] 周鹏生.问卷长度、问卷项目性质与作答心向的关系[J].西北民族大学学报：自然科学版，2009，30（3）：82-85.
[13] 蔡红梅，许晓东.高校课堂教学质量评价指标体系的构建[J].高等工程教育研究，2014（3）：177-180.
[14] 王彩珍，李彬彬.基于数学模型对手机产品质量的分析[J].河南城建学院学报，2018，27（2）：85-92.
[15] 杨和财，徐颢.葡萄酒价值认知及定价敏感区研究[J].中国酿造，2011（7）：188-191.