基于WebDriver的定向网络爬虫设计与实现

来源 :数码设计(下) | 被引量 : 0次 | 上传用户:zhongxuanshiye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今世界,互联网连接生活的方方面面,网络上信息以不可想象的速度增长.快速不断增长的网络信息为数据挖掘提供了有力的数据支撑.因此,网络数据提取获得了大量的关注.当今时代的网络在内容和形态方面发生了深刻的变化,动态页面、AJAX异步传输技术、网页反爬虫技术的兴起,使得简单的网页数据抓取越来越困难.本文使用Pyton语言中优秀的、自动化测试库:selenium库,通过其中的WebDriver类实现模拟人类登录网页,抓取加载完毕后的网页信息.本爬虫由于模拟人类操作,可以完美绕过反爬虫检测,自动采集指定网页数据,达到数据获取的目的.本文利用爬虫对中国体育彩票官方网站竞彩网进行爬取,取得了良好效果.
其他文献
无功补偿具有起提高电网的功率因数、降低供电变压器及输送线路的损耗、提高供电效率、改善供电环境等作用,无功补偿装置时电力系统的不可缺少的一部分.本文对无功补偿地点确
向量作为一种重要的解题工具,一直是高考的热点和重点内容,向量的基础性和工具性一直备受关注.在具体问题当中,先用向量表示相应的点、线段、夹角等几何元素,然后通过向量运
比尔·艾伦曾经是一名律师,1945年出任波音公司总裁,1968年4月成为董事长,1972年光荣退休,整整干了27个年头,成为掌管波音时间最长的人。在他主政期间,波音成功研制出707、727、737和747四款不同型号的先进喷气客机,在商业上和技术上都取得了巨大成功。  “怎么会是他?”  在第二次世界大战期间,波音从美国军方获得了大量订单,共生产了7 000架B-17和2 700多架B-29轰炸机
期刊
初中生是一个特殊的群体,他们心理上处于从幼稚到成熟的过程中,对社会、他人以及自我认识与实际情况都存在偏差,个人的需要、态度、价值观等都不够稳定。尽管在我国一直提倡
《惠怡书房藏齐白石精品集》中收入了两幅齐白石早年山水作品,分别为《孤村红叶图》和《湖庄客话图》。两幅作品均为纸本设色,尺幅都是139厘米×35.5厘米。  在齐白石传世作品中,花鸟草虫以及水族类作品远多于山水。尽管他85岁时曾在一帧山水扇面上有过“予不画山水三十余年矣”的题识(见天津人美1959年《齐白石扇面集》),也曾在66岁时为冷厂(胡佩衡)所绘一幅雪景山水上题过“余与山水断缘已二十余(年)”
用可控震源激发的线性扫频(Chirp)信号模拟了二维地震勘探,采用相关处理技术把反射Chirp地震信号转化为脉冲地震信号形成了相关地震剖面,把相关地震剖面与脉冲震源产生的合成
运用文献资料法、专家访谈法、录像观察法、数理统计法和逻辑分析法对CBA联赛2014-2015赛季常规赛山西汾酒队与前三名球队(分别是广东东莞银行队、辽宁药都本溪队和青岛双星队
中学美术教学中要体现特色,广大教师要结合教学实际进行创新,主要从体现学生主体地位、发挥信息手段作用、融入乡土艺术特色、体现情感促进因素以及构建立体教学体系等方面综
有一天,我到姨妈家去做客.午饭时间到了,看着桌上一盘红烧小黄花鱼,我忍不住直咽口水.rn吃饭了,我一边吃一边冒出一句:“吃鱼不长眼!”姐姐听了一愣,问:“什么?谁吃鱼不长眼?
期刊
在现代社会发展的过程中,供电系统的稳定运行一直是保障社会生产和生活正常运转的关键.一旦10kV配网出现运行事故,就会对于外界产生严重的影响,并且很可能会导致一系列事故的