【摘 要】
：
针对分布式爬虫框架性能和功能的优化,提出一种基于Django的分布式爬虫框架设计方法,介绍了爬虫任务队列技术,实现了在爬虫运行过程中随时更新爬虫代码时可自动重新载入并从
论文部分内容阅读
针对分布式爬虫框架性能和功能的优化,提出一种基于Django的分布式爬虫框架设计方法,介绍了爬虫任务队列技术,实现了在爬虫运行过程中随时更新爬虫代码时可自动重新载入并从断点继续执行任务的功能,解决了重新载入过程中数据丢失的问题。实验证明,在分布式环境下,随时更新爬虫代码可以实现自动重新载入运行并且不会丢失数据,相比其他分布式爬虫,该框架可提升爬虫40.7%的运行性能。
其他文献
文章联系教学实际,对“大学语文”课程教学中教师教学理念存在的问题及形成原因进行了较为客观的分析,在此基础上提出：找准“大学语文”课程的定位;因材施教,注重实效;加强德
目的探讨医院感染管理的改进与完善,及研究综合性医院突发公共卫生事件预防体系中的医院感染管理. 方法从综合性医院的自身特征出发,结合SARS防治过程中出现的实际问题,提出
电力拖动是维修电工专业的主要课程之一,具有系统的理论知识,更与实践联系紧密。这门课程学习的好坏,直接影响到维修电工基本素质的培养。如何对这门课程进行改革,培养学生的
受不利因素影响,传感器网络中的数据不可避免地存在缺失,阻碍上层应用对数据的分析与处理.使用能够自主提取和学习有效特征结构的卷积神经网络对缺失数据问题进行研究,提出一
在大学数学教学中多媒体教学已成为一种普遍的教学方式。多媒体数学教学对提高教学质量有很多优势,但是由于数学课程的特殊性,多媒体教学也面临不少现实的困境,笔者通过分析
语音情感识别是人机交互的研究热点之一.针对传统随机森林模型(RF)中决策树不分优劣具有同样决策权的不合理性,提出一种差分进化加权优化的随机森林分类模型(DERF).RF中样本
培养学生的英语口笔头交际能力是高中英语教学的目的之一。其中笔头交际是较高层次的信息交流,要求学生有较强的书面表达能力。因此,要培养提高学生的写作能力,必须系统地训
关于我国乡镇企业情况和今后改革与发展意见的报告改革开放以来，在邓小平建设有中国特色社会主义理论和党的基本路线指引下，我国乡镇企业蓬勃发展，取得了令人瞩目的成就。未来十
在大学英语阅读中,我们经常会遇到一些很长的、结构复杂的句子,让人很难理解,也很难翻译。但是如果我们掌握了翻译的方法和技巧,看清句子结构,抓住句中的关键词,能准确地运用
学习语言的重要条件则是语言环境和语言背景。本文阐述了提高学生语言素养的三个方面是广征博引,启发心灵空间拓展的自觉性、课前准备,讲究心灵空间拓展的针对性、多方出击,