基于改进遗传算法的聚焦爬虫设计

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:pingpinggangan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文提出以爬行控制器和页面分析过滤器为核心的聚焦爬虫设计方法。从待检索主题出发,在以改进的遗传算法为基础并结合内容评价和链接结构搜索策略优点的爬行策略引导下,以待爬行URL作为遗传个体,基于主题词集的向量空间模型评估个体适应度,引入新的URL实现交叉、变异操作,将具有相同URL前缀的链接按小生境处理。实践证明,该爬虫具有较好的性能。
其他文献
财政部在2017年修订了新收入准则,这一举措,对企业和行业产生了非常大的影响。经过修订之后的新收入准则,不仅在会计信息的可比性方面得到了提升,同时对于收入确认时点和收入
本文结合DEM模型、LOD技术和OpenGL ES标准等方面内容对嵌入式三维地形生成技术进行了研究,并给出了地形的仿真结果,为嵌入式三维GIS系统的进一步研究提供了理论基础。
随着社会经济发展,我国汽车工业发展日新月异,我国已经成为汽车出口大国。虽然我国汽车出口额增长迅猛,但出口过程也存在一系列制约因素。特别是2008年金融危机后,我国汽车出
本文针对一类MaxweU方程组鞍点问题的第一类Nedelec线性棱元离散系统,设计了一种基于节点辅助空间预条件子的并行Uzawa算法(HX-Uzawa-p)。数值实验结果表明,不论是对光滑系数还是
在分析高校《计算机网络基础》课程教学中存在的问题基础上,为严把教学质量关,提高学生能力素养,并结合笔者承担该课程的教学实践,深入分析了课程性质和目标定位,对教学内容的优化
如果说《向往的生活》《中餐厅》等节目是"慢综艺"1.0时代,那么《我家那闺女》等情感观察类综艺节目则预示着"慢综艺"进入了2.0时代。节目中引发的"单身宅女""不会做饭""结婚
摘要:随着国家对肉牛养殖产业的重视程度不断增加,特别是对规模化肉牛养殖场的扶持力度不断加大,集约化规模化肉牛养殖产业得到不同程度的发展。但是由于很多养殖户缺乏肉牛专业知识和疫病防控技术不足,盲目注重扩大养殖规模,存在不合理的引种行为,导致新的疫情在养殖场内频发,给牛群健康生长乃至本地区肉牛养殖产业健康发展造成巨大影响。该文首先分析了肉牛引进中疫病防控存在的多种问题,然后论述了相应的解决对策。  关
随着社会经济的快速发展,水质性缺水与资源性缺水相互叠加,加剧了水资源供需矛盾。水质性缺水的影响因素之一就是水体富营养化造成水生态环境的恶化。水体富营养化的发生与农田土壤中的氮、磷流失有极大关系。研究不同条件下农田氮、磷流失的规律对降低水体富营养化风险,指导生产实践具有重要意义。南方地区降雨量丰富,农田水肥流失与降雨强度、施肥方式关系极大。本文以油菜田为研究对象,于油菜开花前期,通过模拟降雨的方法,
摘要:非洲猪瘟会导致猪死亡,而且传染范围非常广,对于养猪业造成了非常嚴重的危害,所以相关工作人员一定要找出非洲猪瘟传播的途径,然后采取合理的防控对策。   关键词:非洲猪瘟;传播途径;防控对策   中图分类号:S858.28   文献标识码:B   doi:10.3969/j.issn.2096-3637.2019.22.052   0引言   非洲猪瘟传染性极强,具有急性、热性等特点,会表现出发
本文系统地分析了多输出外部反馈LFSR方法产生均匀分布随机数的工作原理、变换矩阵的特点、产生随机数的周期以及LFSR的级数选择等问题,并提出了基于多输出外部反馈LFSR方法设