【摘 要】
：
微博作为优质的数据源,其中的数据非常适合做舆情分析等;新浪官方提供的API限制数据采集速度,而利用模拟登录的网络爬虫采集数据又相对复杂且会降低效率;针对这些问题,设计了
【基金项目】
：
陕西省科技计划重点项目资助(2017ZDCXL-GY-05-03)
论文部分内容阅读
微博作为优质的数据源,其中的数据非常适合做舆情分析等;新浪官方提供的API限制数据采集速度,而利用模拟登录的网络爬虫采集数据又相对复杂且会降低效率;针对这些问题,设计了一个免登录的微博网络爬虫;通过实验表明,该爬虫可以更快的对微博数据进行完整稳定的采集;随着对数据需求量越来越大,单机网络爬虫已经不足以满足要求,将Hadoop分布式计算平台与免登录爬虫相结合,设计了一个基于MapReduce的分布式网络爬虫系统,利用多台计算机组成的集群,实现短时间内免登录抓取海量微博数据;通过实验证明,该爬虫系统可以每天稳
其他文献
金刚石材料以其高硬度与化学稳定性、优良的导热性、大禁带宽度、高电子与空穴迁移率等特性,在力学、光学、声学、热学和电学等领域具有巨大的应用价值,成为现代工业与科学技
利用射频磁控溅射法制备了氧化铟锡(ITO)透明导电薄膜,主要研究了氧气流量、基底温度、溅射功率和氩气流量等工艺参数对薄膜光电性能的影响,计算了薄膜的品质因数,并根据品质
虚拟装配是虚拟制造的关键技术之一，虚拟装拆工具是虚拟装配规划和仿真的必要资源，对装配序列规划、可视化仿真和人因性能等具有重要的影响。本文对简单装拆工具参与虚拟装配过
随着我国水泥产业规模的不断壮大,各企业间竞争日益激烈。水泥企业目前参与市场竞争主要还是以价格取胜,伴随产品同质化现象严重、固定成本与运输费用高企等因素,水泥生产成
利用正丁醇与水的共沸特性可以去除二氧化硅等纳米粉体制备过程中产生的水分,避免纳米粉体产生严重团聚现象,并提高粉体的性能,因此,正丁醇共沸蒸馏法被诸多文献证实为一种优
我国对水资源实施的是流域管理与行政区域管理相结合的管理体制。流域管理机构的地位不明确,在监督管理中没有完全独立的权限,基本上属于一种协调机构,因此完善我国的跨区域
随着城镇化的推进,公共服务的提供在城乡之间、区域之间以及不同社会群体之间的差距也越来越大。这不仅脱离了城镇化的本质,也阻碍了城镇化的进一步推进。要在短期内完全消除
目的:系统的对比评价ALPPS与PVE在部分肝脏切除手术的疗效性和安全性的荟萃分析;为中晚期肝脏剩余体积不足的肿瘤患者选择手术方式提供理论依据。方法:检索Pubmed、Medline、
保护企业债权人权益是现代企业制度的基本原则,由于多方面的原因,在以往的企业改革中,保护企业债权人权益问题未引起各方面足够的重视,侵害债权人权益的现象较为普遍,在国有
随着科技的不断进度,我国的信息化工程建设得到了快速的发展。尤其是5G移动互联通信技术也即将在我国进行全面的普及。同时软交换技术作为下一代的核心网络建设的重要建设技