可爬取Ajax数据的搜索引擎爬虫研究与设计

来源 :长春理工大学 | 被引量 : 0次 | 上传用户:waxizhaojing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来web2.0技术得到了广泛应用,新技术在改善人们浏览网页习惯的同时也给其它相关技术带来了巨大挑战,搜索引擎就是其中之一。面对网页中蕴含的大量动态数据,传统搜索引擎已经无法实现抓取功能,Ajax应用的各种状态和事件可以被用户看到,但无法被搜索引擎抓取。针对搜索引擎所面临的挑战,本文给出了相应的解决方案:分析并建立Ajax应用的状态模型,在此基础之上设计并实现了Ajax爬虫的核心算法,通过建立热点缓存模型实现了算法的优化,根据Ajax动态页面的特点提出了网页权重评定算法AjaxRank,最后通过实例测试验证了Ajax搜索引擎的检索结果质量,并对搜索引擎的各项性能指标进行了综合评估。本文的重要意义在于,对Ajax动态数据的应用原理进行了深入细致的分析,在此基础之上,设计并实现了可抓取Ajax动态数据的搜索引擎,为动态数据抓取的进一步研究提供了一定意义的理论基础。
其他文献
医院感染防控在提高医疗质量中发挥重要作用,而医院感染管理在医院感染防控中发挥着强大的力量。近年来,医院感染管理相对薄弱的非传统重点科室的院感暴发事件屡屡发生,给社
人体雕塑同样需要“气韵”,气韵连贯是人体泥塑要求整体、生动、严谨的本质所在。人体有着自然天成的运动规律和节奏,它是人体雕塑气韵连贯的直接依据。学生在从事专业训练时
本文运用SWOT模型分析了甘肃乳业发展的优势、劣势、机遇与威胁,针对问题探讨性地提出了加强奶源基地发展、优化企业外部环境、促进市场竞争有序化、利用现代技术提高乳的产
以亚洲百合"精粹"和"普瑞头"为试材研究SA浸球对百合生长发育的影响。结果表明:适宜浓度SA处理可提高"精粹"和"普瑞头"鳞茎的萌发率,5 mmol.L-1SA处理效果最佳,百合鳞茎萌发
商务礼仪是在国际贸易中人与人打交道所遵从的礼节形式,对商务活动的正常进行有着重要意义。在涉外商务活动中,由于中西方不同的价值观、时间观、饮食观以及语言习惯等造成了
水库水质优良,是浙江省主要饮用水源地。随着饮水安全要求的提高,水库在供水安全中起到越来越重要的作用,是今后浙江省优质水的主要来源。为了进一步保护水库水源地,对浙江省水源