基于分布式爬虫的在线考试系统设计与实现

来源 :厦门大学 | 被引量 : 0次 | 上传用户:haliluluya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,教育行业实现了线上发展的巨大进步,在线教育飞速发展。特别是在去年线下教育无法开展期间,基础教育的线上发展得到了空前的成功,并且在这之后,在线教育依然如火如荼。与在线教育紧密关联的是在线考试的发展。作为在线远程教育以及能力培训必不可少的环节,在线考试的发展既实现了资源的高效共享与利用也促进了教研和学生学习的效率。而在更深一层次,作为在线题库的建设与在线组卷的效率则决定了在线考试的质量。当前为了促进教育公平,有众多的开放题库资源供用户进行选择。对于教育者来说,如何快速组成一份符合预期要求的试卷是在线考试最基本的实现前提。而对于目标试卷的组成则依赖于良好的题库建设。因此本系统基于分布式爬虫的资源获取方式从不同的在线题库来源进行题库数据的构建。并基于题库建设,实现了自动组卷的方式。在具体的在线考试系统设计与实现上,在系统的客户端,采用基于Vue.js的设计架构进行在线考试和考试后台信息管理的系统设计与实现。在系统的服务端方面,设计并实现了基于Spring Boot的服务端控制层与数据层。在分布式爬虫的设计与实现上,通过分析流行在线资源获取框架Scrapy在分布式架构上存在的使用缺陷。在整体架构上,通过引入统一的状态管理中间件Redis的方式对各子爬虫模块进行数据监控和统一管理满足Scrapy在分布式架构上的实现。在具体子模块的修改设计和实现上,通过设计和实现基于定时任务调度的网络通信代理池的实现对下载中间件加以改进;通过设计和实现基于Murmurhash的目标请求源的去重中间件,实现对下载队列过滤方式的改进。在自动组卷的设计与实现上,通过分散题型组卷的方式对传统的统一组卷方式进行修改,实现了对基于遗传算法在组卷方面的应用,使得遗传算法在具体组卷的有效性上得以实现。本系统通过严格的功能和性能测试,以及各服务子模块的接口测试。测试结果满足了系统的预期目标。并在实际教学测试中得到了具体的应用。
其他文献
机械臂是制造业的重要组成部分,被广泛应用于各种各样的工业领域。目前市面上机械臂的工作都是采用人工示教的方式来实现,虽然这种方法已经很成熟,但存在费时费力、自动化程度低、应用场景单一等诸多问题。近年来,工业产品快速更新换代,传统的人工示教方法已经显得力不从心。因此,机械臂运动规划用于解决机械臂自主避障问题成为目前的研究重点。传统的运动规划算法随着维度的增加,其计算量会呈指数增长,不适用于具有多自由度
学位
近些年来,多智能体分布式协同控制的研究越来越受到广泛的关注,其中分布式优化由于在分布式机器学习及分布式计算中存在巨大的应用前景,逐渐成为分布式协同控制领域的焦点问题。基于多智能体系统的分布式优化的目标是通过智能体的个体计算和与其相邻智能体的局部通信,获得系统全局目标函数的最优解。本文利用图论、矩阵论、概率论以及李雅普诺夫稳定性判据等相关理论与数学工具,研究了存在通信丢包情况下的连续时间多智能体系统
学位
多标记学习已成为机器学习的热门研究领域。在多标记学习任务中,标记相关性和标记增强作为两个重要的研究方向,吸引了众多学者的关注。本文针对这两个研究方向目前存在的不足展开了研究,具体研究内容和研究意义如下:标记相关性:Binaryrelevance(BR)是最广泛使用的多标记学习方法。BR通过针对每个标记构建一个二分类器,从而将多标记学习问题转换为一组二分类问题。BR简单直观,但是在构建模型过程中缺乏
学位
预约作为一种独立的合同形式,是约定双方当事人后续订立本约关系的一种法律手段。随着社会主义市场经济的高速发展,单纯的“要约-承诺”已经无法满足市场交易的需要,越来越多的预约合同也应用到交易活动中。《民法典》的颁布也将预约合同提升到了法律层面。对于预约合同进一步研究有助于使得预约合同在实践中充分发挥作用,实现其功能价值。从《商品房买卖合同纠纷司法解释》、到《买卖合同司法解释》、再到新颁布的《民法典》,
学位
随着小型无人机应用场景的多样化与智能化,通过机载传感器实现高精度的自主定位是无人机执行各种任务的首要前提。本文着眼于小型无人机平台上的视觉导航方法以及惯性测量单元作为辅助的视觉惯性导航技术的研究。针对目前小型无人机平台负载能力较低,计算资源有限等问题,本文在半直接法单目视觉里程计基础上融合惯性测量单元,提出一种轻量级的半直接视觉惯性导航方法。本文主要工作包含以下几点:(1)视觉跟踪过程中,在关键帧
学位
十九大报告中表明,我国经济发展模式发生了转变,由过去利用人口红利和消耗资源的高速发展阶段,转向了越来越注重效率的高质量发展阶段。追求高质量的供给体系的特点是,一方面经济增长速度放缓,另一方面,注重市场对资源配置的主导作用,将供给的质量和效益放在同等重要的位置。在此背景下,2016年10月,在经济新常态的宏观背景下,《关于市场化银行债权转股权的指导意见》的发布表明债转股作为一种工具被正式提出并开始实
学位
电液伺服系统作为典型非线性被控对象具有内部结构复杂、工作环境多变和安全性要求高的特点。目前基于解析模型的方法难以精确描述电液伺服系统的动态特性,进而无法继续提高系统的动态控制性能和抗干扰能力,需要研究数据驱动的电液伺服系统非线性鲁棒控制方法。因此,基于VSV电液伺服闭环控制与故障模拟实验台,本文利用柔性行动者批判算法无模型异步策略迭代的特点,提出了基于优化稀疏奖励的SAC深度强化学习控制方法改进了
学位
随着飞机和发动机性能的提高,航空发动机控制系统设计的要求也不断提高,控制变量也不再只是燃油流量一个,相对于传统的控制模型建模方法以及变增益控制,目前的控制系统设计提出了更高的要求。航空发动机状态变量建模则是航空发动机控制系统设计及仿真试验的重要组成部分,可减少试验风险和成本。因此,本文基于某型涡扇发动机,开展了涡扇发动机全包线控制模型建模、过渡态控制规律设计的研究。主要研究内容如下:为了解决涡扇发
学位
在高速发展的信息化时代,信息科学技术已深入社会各行各业,金融科技更是得到了极大的发展。传统的利用搜索引擎获取信息方式给用户带来的是数量庞杂、内容繁复的结果,借助知识图谱对知识进行整合,利用智能问答系统进行问答交互,可以帮助用户快速获取有效信息,提高办事效率。随着线上渠道的普及与完善,传统的单纯依靠人工的客服模式也已经转变为人机结合的智能客服模式。为帮助用户快速、准确地获取信息,针对客服行业的问答系
学位
随着经济社会发展和城市投资力度的加大,海底沉管隧道工程项目变得越来越大型化、综合化、复杂化。海底沉管隧道为大型海底通道的一种工程形式,其形式为路上预制沉管,封闭后运输至海上固定轴线位置进行安装的水下工程。与陆地上施工的隧道相比,海底沉管隧道具有非常的特殊性,项目建设过程中存在难以预测、不确定的风险。但海底沉管隧道对于现代城市交通建设有着不可比拟的优越性,近年来在我国陆续启动,如已经建成的港珠澳大桥
学位