论文部分内容阅读
在大数据时代,商业网站竞争往往是数据竞争,需要获取海量的数据,网络爬虫技术应运而生。笔者介绍了网络爬虫的工作原理和主要工作流程,阐述了Python语言中为网络爬虫提供服务的主要第三方库,然后系统地介绍了Scrapy框架,详细阐述了该架构的主要部分和配置流程,然后描述了如何使用SCRAPY命令行进行数据爬取。该方法逻辑清晰,在工程上具有较强的操作性。