面向社交网络的数据采集系统的研究与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:seankkk2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交网络的出现,极大的改变了人们的日常生活。它加强了朋友之间的联络,减少了维系友谊的开销,增加了人际关系的广度。在社交网络中,每天都有数以亿计的信息被发布和传播,这大量信息背后,隐藏的是巨大的价值和很多有决策意义的信息,那么如何采集到这些信息,就是人们亟待解决的问题。新浪微博目前是国内最大的社交网站,是社交网络中最好的研究对象。本文以新浪微博作为社交网络的代表,使用Selenium技术,设计并实现了一个面向社交网络的数据采集系统。本文介绍了传统的网络爬虫技术及其实现原理,并对网络爬虫相关的技术进行了研究,重点分析了反爬虫技术的策略。然后研究了通过新浪微博开放平台来获取数据的方法,经过实验和分析结果表明,仅通过开放平台的方式获取数据是不能满足系统需求的。因此针对新浪微博社交平台的特点,本文采用Python+Selenium技术实现了一个面向社交网络的数据采集系统,该系统具有自动登录微博账号、自动采集微博热点话题、微博内容、评论及转发信息的功能。为了保证系统的稳定性,还针对新浪微博的反爬虫策略对系统进行了优化,包括伪装User-Agent属性、控制采集速率、使用代理IP、自动检测切换微博账号等。最后对本系统进行了功能和性能测试,验证了系统的正确性和稳定性。
其他文献
生产资源的配置和财富的分配如果已达到这样一种状态,即任何重新改变资源配置或财富分配的方法,已经不可能在不使任何人的处境变坏的情况下,使任何一人的处境更好。这种状态
中承式拱桥通常需要很大的水平力平衡拱脚的水平推力,通常在山区等能提供强大水平推力的区域使用。此次设计的中承式拱桥位于华北平原,另外为满足景观匹配性,拱肋轴线没有采
目的探讨3S 4R延续护理模式在中青年妇科恶性肿瘤患者术后化疗中的应用效果。方法选择2018年7—12月手术治疗的中青年妇科恶性肿瘤患者90例为研究对象,分为对照组和试验组,对
本文通过对宝钢利奥多西矿粉进行流态化还原过程的研究,探讨了温度、压力、气流线速等因素对利矿粉粘结的影响;讨论了发生粘结的主次因素,以及进一步解释了其粘结机理.
试卷一经解密,其内容就成为“圈内人”津津乐道的话题。每年高考试卷或各地模考卷中不乏好题,各种教辅资料争相转载,成为检测学生学习效果的得力帮手。然而陈旧题目的反复操练会
1东山有雨,回家的愿望特别强烈,二十多年了,依然如此。雨后,东山是苍翠的、清新的,家乡的味道愈发浓烈。在东山出生,童年的快乐就留在那儿,儿时的玩伴还在不时呼喊着乳名,依
期刊