面向应用商店的主题爬虫设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:xiaoqingxiaoming
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前互联网上的信息量呈现爆发式的增长,但是人们获取想要的信息所需要的代价与时间也是越来越高。因此,对于一般的搜索引擎来说,在进行提交处理之后,返回的信息量太大,需要经过人工干预才能再次进行确认与排查,查询返回的结果中有用的信息占据的比例太少,同时,通用的搜索引擎在进行搜索的时候深度方面往往不够。为了能够及时的了解到应用商店的热点信息,需要引入相应的分析系统。本文设计与实现了面向应用商店的主题爬虫系统。针对传统的网络爬虫仅仅采用的一种搜索引擎的服务,无法满足针对主题性方面的应用需要。本文深入对于主题爬虫的相关特性、架构、工作流程进行分析,提出了一种面向应用商店的爬虫系统总体架构。本系统开发采用当前较为流行的Python语言和PHP语言开发,采用标准的B/S架构,充分利用这种架构在系统运行过程中的优势,结合了先进的技术方法,实现了多线程管理模块、爬取策略模块、HTTP下载模块、手机端抓取模块、正文抽取模块、超链接抽取模块、主题相关度判断模块的管理功能模块,最后按照单元测试和压力测试对系统进行相应的测试分析,并对最终的测试结果进行分析与总结处理。通过对爬虫系统的测试,测试结果表明,爬虫系统运行效果良好,能够为数据分析模块提供数据,取得了令人满意的效果。
其他文献
在社会转型时期,文化多元化对青年的价值观带来了强大的冲击,大学生虽可从中吸取各国文化精华,发展自身个性,但与此同时,他们对社会主导价值不再认同,价值观选择变得迷茫。为
金属打包机是金属回收加工行业常用的机械设备。它能用来将黑色或有色金属板材,线材等边角余废料经几个方向挤压,形成一定尺寸的包块,满足运输及回炉的需要。电气装置在金属
丙烯酰胺(acrylamide,ACR)是一种重要的化工原料,广泛应用于合成聚丙烯酰胺塑料、油漆生产、污水处理及化妆品添加剂等领域,职业接触人群广泛。此外,食入高温油炸类食品、吸
音乐给人以直击心灵的力量.对人类精神世界有着巨大深远的影响,音乐在高职素质教育中的巨大作用是无法估量的,它从各方面都能显现出来。特别是高职学生所应具备的正确的审美观、
尚礼精神在中国文化发展特别是在中国文化变革中具有重要意义。中国历史上农民起义的爆发频繁,其"替天行道"的主张实则来自儒家知识分子经世治国、辅国安民的社会责任感和社会
目的关于胎膜早破引产实现的临床分析。方法本文选择的研究对象为我院在2017年3月至2018年8月接收的80例牌膜早破的产妇,将所有产妇以随机方法分为观察组与对照组,每组平均为
结合正在建设的成都市地铁1号线一期工程的具体情况,运用定性与定量分析相结合的方法,对可定量计算的社会经济效益的估算模型进行了重点论述,并对不可定量计算的社会经济效益进
目的对HPV阳性妇女的心理状态进行调查,并研究分析心理干预方法对存在焦虑情绪的HPV阳性患者的治疗效果。方法通过Zung氏焦虑自评表对本院100例患者进行调查,然后将存在焦虑
医科院校的考试主要是学科考试.调查显示,教师和学生对目前的学科考试模式评价均不高,存在的最主要弊端是考试方法单一,考试管理不够科学、严谨,考风不好;认为作弊的主要原因
小学语文课本里描写许许多多的革命英雄人物,有舍身炸暗堡的董存瑞,有在烈火中壮烈牺牲的邱少云,有在敌人屠刀下英勇就义的刘胡兰,有为革命捐躯的李大钊、夏明翰,等等。他们