【python爬虫】15.Scrapy框架实战（热门职位爬取）

import scrapy

class JobuiItem(scrapy.Item):
#定义了一个继承自scrapy.Item的JobuiItem类
    company = scrapy.Field()
    #定义公司名称的数据属性
    position = scrapy.Field()
    #定义职位名称的数据属性
    address = scrapy.Field()
    #定义工作地点的数据属性
    detail = scrapy.Field()
    #定义招聘要求的数据属性
1
2
3
4
5
6
7
8
9
10
11
12

import scrapy  
import bs4
from ..items import JobuiItem
1
2
3

#导入模块
import scrapy
import bs4
from ..items import JobuiItem

class JobuiSpider(scrapy.Spider):  
#定义一个爬虫类JobuiSpider
    name = 'jobui'                  
    #定义爬虫的名字为jobui
    allowed_domains = ['www.jobui.com']
    #定义允许爬虫爬取网址的域名——职友集网站的域名
    start_urls = ['https://www.jobui.com/rank/company/view/beijing/']
    #定义起始网址——职友集企业排行榜的网址（北京）

    def parse(self, response):
    #parse是默认处理response的方法
        bs = bs4.BeautifulSoup(response.text, 'html.parser')
        #用BeautifulSoup解析response（企业排行榜的网页源代码）
        company_list = bs.find('div',id="companyList").find_all('div',class_='c-company-list')
        #用find_all提取所有
标签
        for company in company_list:
        #遍历company_list
            data = company.find('a')
            # 找到其中第一个标签，即
下的标签
            company_id = data['href']
            #提取出所有元素的href属性的值，也就是公司id标识
            url = 'https://www.jobui.com{id}jobs'
            real_url = url.format(id=company_id)
            #构造出公司招聘信息的网址链接
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

标签，再从中抓取元素。

所以这里用了个for循环，把元素的href属性的值提取了出来，并成功构造了公司招聘信息的网址。

代码写到这里，我们已经完成了核心代码逻辑的前两件事：提取企业排行榜的公司id标识和构造公司招聘信息的网址。

接下来，就是构造新的requests对象和定义新的方法处理response。

继续来完善核心代码（请你重点看第30行代码及之后的代码）。

#导入模块
import scrapy
import bs4
from ..items import JobuiItem

class JobuiSpider(scrapy.Spider):  
#定义一个爬虫类JobuiSpider
    name = 'jobui'                  
    #定义爬虫的名字为jobui
    allowed_domains = ['www.jobui.com']
    #定义允许爬虫爬取网址的域名——职友集网站的域名
    start_urls = ['https://www.jobui.com/rank/company/view/beijing/']
    #定义起始网址——职友集企业排行榜的网址

    def parse(self, response):
    #parse是默认处理response的方法
        bs = bs4.BeautifulSoup(response.text, 'html.parser')
        #用BeautifulSoup解析response（企业排行榜的网页源代码）
        company_list = bs.find('div',id="companyList").find_all('div',class_='c-company-list')
        #用find_all提取所有
标签
        for company in company_list:
        #遍历company_list
            data = company.find('a')
            # 找到其中第一个标签，即
下的标签
            company_id = data['href']
            #提取出所有元素的href属性的值，也就是公司id标识
            url = 'https://www.jobui.com{id}jobs'
            real_url = url.format(id=company_id)
            #构造出公司招聘信息的网址链接
            yield scrapy.Request(real_url, callback=self.parse_job)
#用yield语句把构造好的request对象传递给引擎。用scrapy.Request构造request对象。callback参数设置调用parsejob方法。


    def parse_job(self, response):
        #定义新的处理response的方法parse_job（方法的名字可以自己起）
            bs = bs4.BeautifulSoup(response.text, 'html.parser')
            #用BeautifulSoup解析response(公司招聘信息的网页源代码)
            company = bs.find(id="companyH1").text
            #用find方法提取出公司名称
            datas = bs.find_all('div',class_="c-job-list")
            #用find_all提取
标签，里面含有招聘信息的数据
            for data in datas:
            #遍历datas
                item = JobuiItem()
                #实例化JobuiItem这个类
                item['company'] = company
                #把公司名称放回JobuiItem类的company属性里
                item['position']=data.find('a').find('h3').text
                #提取出职位名称，并把这个数据放回JobuiItem类的position属性里
                item['address'] = data.find_all('span')[0].text
                #提取出工作地点，并把这个数据放回JobuiItem类的address属性里
                item['detail'] = data.find_all('span')[1].text
                #提取出招聘要求，并把这个数据放回JobuiItem类的detail属性里
                yield item
                #用yield语句把item传递给引擎
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

你应该不理解第30行代码：yield scrapy.Request(real_url, callback=self.parse_job)的意思。我跟你解释一下。

scrapy.Request是构造requests对象的类。real_url是我们往requests对象里传入的每家公司招聘信息网址的参数。

callback的中文意思是回调。self.parse_job是我们新定义的parse_job方法。往requests对象里传入callback=self.parse_job这个参数后，引擎就能知道response要前往的下一站，是parse_job()方法。

yield语句就是用来把这个构造好的requests对象传递给引擎。

第34行代码，是我们定义的新的parse_job方法。这个方法是用来解析和提取公司招聘信息的数据。

对照下面的招聘信息的数据定位表格，你应该能比较好地理解之后的代码。

上图中的工作地点和招聘要求 的属性，已经修正为了 text 请大家注意。

提取出公司名称、职位名称、工作地点和招聘要求这些数据，并把这些数据放进我们定义好的JobuiItem类里。

最后，用yield语句把item传递给引擎，整个核心代码就编写完啦！ヽ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾉ

存储文件

至此，我们整个项目还差存储数据这一步。在第7关，我们学过用csv模块把数据存储csv文件，用openpyxl模块把数据存储Excel文件。

其实，在Scrapy里，把数据存储成csv文件和Excel文件，也有分别对应的方法。我们先说csv文件。

存储成csv文件的方法比较简单，只需在settings.py文件里，添加如下的代码即可。

FEED_URI='./storage/data/%(name)s.csv'
FEED_FORMAT='csv'
FEED_EXPORT_ENCODING='ansi'
1
2
3

FEED_URI是导出文件的路径。‘./storage/data/%(name)s.csv’，就是把存储的文件放到与main.py文件同级的storage文件夹的data子文件夹里。

FEED_FORMAT 是导出数据格式，写csv就能得到csv格式。

FEED_EXPORT_ENCODING 是导出文件编码，ansi是一种在windows上的编码格式，你也可以把它变成utf-8用在mac电脑上。

存储成Excel文件的方法要稍微复杂一些，我们需要先在settings.py里设置启用ITEM_PIPELINES，设置方法如下：

#需要修改`ITEM_PIPELINES`的设置代码：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#     'jobui.pipelines.JobuiPipeline': 300,
# }
1
2
3
4
5
6
7

只要取消ITEM_PIPELINES的注释（删掉#）即可。

#取消`ITEM_PIPELINES`的注释后：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
     'jobui.pipelines.JobuiPipeline': 300,
}
1
2
3
4
5
6
7

接着，我们就可以去编辑pipelines.py文件。存储为Excel文件，我们依旧是用openpyxl模块来实现，代码如下，注意阅读注释：

import openpyxl

class JobuiPipeline(object):
#定义一个JobuiPipeline类，负责处理item
    def __init__(self):
    #初始化函数 当类实例化时这个方法会自启动
        self.wb =openpyxl.Workbook()
        #创建工作薄
        self.ws = self.wb.active
        #定位活动表
        self.ws.append(['公司', '职位', '地址', '招聘信息'])
        #用append函数往表格添加表头
        
    def process_item(self, item, spider):
    #process_item是默认的处理item的方法，就像parse是默认处理response的方法
        line = [item['company'], item['position'], item['address'], item['detail']]
        #把公司名称、职位名称、工作地点和招聘要求都写成列表的形式，赋值给line
        self.ws.append(line)
        #用append函数把公司名称、职位名称、工作地点和招聘要求的数据都添加进表格
        return item
        #将item丢回给引擎，如果后面还有这个item需要经过的itempipeline，引擎会自己调度

    def close_spider(self, spider):
    #close_spider是当爬虫结束运行时，这个方法就会执行
        self.wb.save('./jobui.xlsx')
        #保存文件
        self.wb.close()
        #关闭文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

修改设置

在最后，我们还要再修改Scrapy中settings.py文件里的默认设置：添加请求头，以及把ROBOTSTXT_OBEY=True改成ROBOTSTXT_OBEY=False。

#需要修改的默认设置:

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'jobui (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
1
2
3
4
5
6
7

还有一处默认设置我们需要修改，代码如下：

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 0
1
2
3
4

我们需要取消DOWNLOAD_DELAY = 0这行的注释（删掉#）。DOWNLOAD_DELAY翻译成中文是下载延迟的意思，这行代码可以控制爬虫的速度。因为这个项目的爬取速度不宜过快，我们要把下载延迟的时间改成0.5秒。

改好后的代码如下：

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0.5
1
2
3
4

修改完设置，我们已经可以运行代码。

温馨提示：由于网站反爬策略升级，如果发现请求的响应结果不是200，那就参照之前的文章来进行解决即可。

代码实操

我带你完成了核心代码的编写，现在是时候到你自己动手编写一遍这个项目的核心代码。

提示1：除了编写核心代码，还要定义item、修改设置和运行Scrapy。

提示2：运行Scrapy的方法，在main.py文件里导入cmdline模块，用execute方法执行终端的命令行：scrapy crawl+项目名

提示3：如果是使用main.py作为入口来进行运行的话，只有main.py文件是能点击运行的。

提示4：存储为csv还是Excel，你可以自己决定。存储为csv只需要更改settings文件，存储为Excel则还需要修改pipelines.py文件。

开始代码实操吧~

怎么样，完成了吗？

不管代码有没有运行成功，我都为你鼓掌！ヾ(o´∀｀o)ﾉ

总结

至此，我们使用Scrapy完成了一个完整项目。它涉及了一个爬虫的全程：获取数据，解析数据，提取数据和存储数据。

但是必须要指出的是，受篇幅所限，还有许多内容没展开讲：Scrapy的自带解析器怎么用？如何带参数请求数据？如何写入cookies？如何发送邮件？如何与selenium联动？如何完成超厉害的分布式爬虫……如是种种。

如是种种，全都讲出来可能还要新增好几个关卡。但是我认为，这不是必要的。

一来，你已经学习过用BS解析数据、带参数请求数据、加入cookies、发邮件、协程……你明白它们的工作原理。

二来，你已经明白Scrapy框架的组成和工作原理。

只要将两者加以组合，辅以练习，就能轻松掌握。

今日的你，只是不知道语法怎么写罢了。而语法问题，是最容易解决的问题，我们可以去阅读官方文档。因为你已具备上述知识，所以这文档读起来也会非常简单。

在下一关，我为你准备了对过往知识的总复习、反爬虫策略汇总、对未来爬虫学习的指引，以及一封书信。

我们下一关见！