基于规则引擎的个性化主题网页爬虫的研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:neocage
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前互联网上的信息正在飞速的增长,人们主要依靠搜索引擎查找信息,随着专业化不断加强,垂直搜索引擎成为人们新的工具,但构建专业化搜索引擎过程比较复杂。为了解决垂直搜索引擎中主题爬虫配置不灵活的问题,采用在爬虫上集成规则引擎的方法,通过规则库来控制爬虫运行,并且使用可扩展度较高的开源爬虫项目Heritrix和开源规则引擎项目Drools,构建配置方便、灵活度高的个性化爬虫,从而将原先主题爬虫的设置从紧耦合转变成了松耦合,降低了用户配置难度。
其他文献
基于极限分析上限法理论,运用体积力增量法,考虑单层滑动面极限分析模型的缺陷,建立考虑含结构面的多岩层错动的任意块体模型,利用岩块体在外荷载作用下达到极限破坏时,外荷
我国已进入老龄化社会,老年人口数量多,增长速度快。现有大众消费市场已无法满足老年人迅速增长的差别化消费需求。通过对日本等成熟老龄化社会研究,可以看出我国发展专业老
环境风险评估既是环境保护的迫切需要,也是环境科学发展的必然结果,实行有效管理的环境风险评估管理是环境保护的一次重要战略转折,地市一级的环保部门应该采取行动,有所重视
英语词汇的记忆是许多中国学生在学习英语中的一个重点,也是一个难点。95 English-cod-ing英语教学系统依托表音密码理论,独创了"音码语音教学理论",融入英语词汇学的构词法
地方高校传统的英语专业培养模式旨在造就工具型人才,以培养语言技能为主要目标,这样的英语人才已经不能满足当今社会发展的需求.因此,地方高校英语专业必须进行改革,新的培
<正>1引言海底管道是投资高、风险大的海洋工程,对海上油气田的开发、生产与产品外输起着至关重要的作用,被喻为海上油气田的生命线。我国自1985年在渤海埕北油田建成第一条
孵化器可以帮助企业提供环境和解决咨询、管理等方面的问题,科技企业孵化器是推动建立以市场为导向、企业为主体、产学研结合的自主创新体系的实现手段之一,在促进科研成果转
从绿色物流的角度深入剖析烟草物流各环节存在的"非绿色"因素,并从硬件和软件两个方面提出了烟草行业发展绿色物流的有关建议。
从现如今我国行政事业单位发展的过程中可以看出,会计内部管理工作一直都是管理人员工作的重点,在实际的工作中还处于相对比较薄弱的环节。为了促进行政事业单位的高效发展和