Python 爬虫之scrapy 库

总的介绍

Scrapy是一个用于爬取网站数据的开源Python框架。它提供了一套强大而灵活的工具，用于从网站上提取所需的数据。Scrapy是基于Twisted异步网络库构建的，因此可以高效地处理大量的并发请求。以下是Scrapy的一些主要特点和组件：

1. 选择器（Selectors）： Scrapy使用XPath和CSS选择器来定位和提取网页中的数据。这使得在处理HTML或XML文档时能够非常方便地定位和提取需要的信息。

2. Item： 用于定义要从网页中提取的结构化数据的容器。通过创建自定义的Item类，可以规范数据的结构，使数据提取过程更加清晰和可维护。

3. 管道（Pipeline）： 管道是处理从Spider中提取的数据的组件。通过编写自定义的管道，可以对数据进行清理、验证和存储。例如，将数据存储到数据库或导出到文件。

4. 中间件（Middleware）： 中间件是处理Scrapy请求和响应的钩子。它们可以在请求发送到服务器之前或从服务器返回之后对请求和响应进行修改。这使得可以在爬取过程中实现各种自定义功能，如代理、用户代理等。

5. Downloader： 负责处理发送HTTP请求和接收HTTP响应的组件。Scrapy的下载器支持并发请求，可以通过设置进行配置。

6. 调度器（Scheduler）： 用于控制Spider何时发送请求的组件。调度器维护一个队列，按照一定的规则调度Spider的请求，以便高效地爬取数据。

7. 爬虫中间件（Spider Middleware）： 与全局中间件类似，但专门用于处理Spider的请求和响应。

8. 项目（Project）： Scrapy项目是一个包含爬虫、Item定义、管道和其他配置的整体结构。一个Scrapy项目可以包含多个Spider，每个Spider定义了特定的爬取规则。

使用Scrapy可以轻松地构建一个灵活、高效且易于维护的网络爬虫。以下是一个简单的Scrapy爬虫示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 提取数据的代码
        title = response.css('h1::text').get()
        yield {'title': title}
1
2
3
4
5
6
7
8
9
10

上述代码定义了一个名为my_spider的Spider，起始URL为http://example.com，在parse方法中使用CSS选择器提取页面中的标题数据，并通过yield将结果传递给管道进行处理。

相关模块

Scrapy库包含多个重要的模块，每个模块都有特定的功能，用于不同的任务。以下是Scrapy库中一些常用的模块：

1. scrapy.Spider：
   • 用于定义爬虫的基本结构和行为的核心模块。
   • 开发者需要创建一个类继承自scrapy.Spider，并定义起始URL和如何跟踪链接、提取数据等规则。

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 爬虫逻辑
1
2
3
4
5
6
7
8

2. scrapy.Item：
   • 用于定义需要从网页中提取的结构化数据的容器。
   • 开发者通过创建自定义的Item类来规范数据结构。

import scrapy

class MyItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
1
2
3
4
5

3. scrapy.Selector：
   • 用于从网页中提取数据的工具，支持XPath和CSS选择器。
   • 在Spider中，可以使用response.css或response.xpath来创建Selector对象，并使用相应的选择器表达式提取数据。

title = response.css('h1::text').get()
1

4. scrapy.Request：
   • 用于定义要发送的HTTP请求的对象。
   • 在Spider中，可以使用scrapy.Request来创建请求对象，并指定回调函数以处理响应。

yield scrapy.Request(url='http://example.com', callback=self.parse)
1

5. scrapy.ItemLoader：
   • 用于加载Item的工具，提供了方便的API来填充Item的字段。
   • 可以在Spider中使用ItemLoader来加载数据到Item中。

from scrapy.loader import ItemLoader

loader = ItemLoader(item=MyItem(), response=response)
loader.add_css('title', 'h1::text')
loader.add_value('link', response.url)
yield loader.load_item()
1
2
3
4
5
6

6. scrapy.Pipeline：
   • 用于处理Spider提取的数据的组件。
   • 开发者可以编写自定义的管道，对数据进行处理、验证或存储。

class MyPipeline:
    def process_item(self, item, spider):
        # 处理item的逻辑
        return item
1
2
3
4

7. scrapy.settings：
   • 包含Scrapy项目的配置设置，可以在项目中设置各种参数，如下载延迟、中间件等。

BOT_NAME = 'my_project'
DOWNLOAD_DELAY = 2
1
2

8. scrapy.exceptions：
   • 包含Scrapy库的异常类，可用于处理爬虫中可能出现的异常情况。

from scrapy.exceptions import CloseSpider

raise CloseSpider('Crawling stopped due to a specific condition')
1
2
3

这只是Scrapy库中一些常用模块的简要介绍。在实际使用中，开发者还可以根据具体需求进一步深入了解和使用其他模块，以构建更强大和定制化的爬虫。