scrapy-redis空跑如何中止，队列为空时自动关闭scraper

使用scrapy-redis，可以将scrapy的爬取任务分布式部署，这里指的是同一个爬虫可在多个设备上或者同一个设备上部署多个实例。多个实例共用一个爬取任务队列。

在使用调度器，比如cron, interval等调度器自动创建爬虫任务时，先前创建的爬虫在执行完任务后并不能自动退出，这样造成爬虫实例越来越多。

在旧版的scrapy-redis中可能并没有相关的配置，因此需要自己去实现，参考：https://cloud.tencent.com/developer/article/1406573

但是稍后的版本，直接通过配置的方式即可实现。

 pip3 list | grep scrapy-redis
scrapy-redis        0.7.3
1
2

scrapy-redis 关于 spider-idle的源码

    def spider_idle(self):
        """
        Schedules a request if available, otherwise waits.
        or close spider when waiting seconds > MAX_IDLE_TIME_BEFORE_CLOSE.
        MAX_IDLE_TIME_BEFORE_CLOSE will not affect SCHEDULER_IDLE_BEFORE_CLOSE.
        """
        if self.server is not None and self.count_size(self.redis_key) > 0:
            self.spider_idle_start_time = int(time.time())

        self.schedule_next_requests()

        idle_time = int(time.time()) - self.spider_idle_start_time
        if self.max_idle_time != 0 and idle_time >= self.max_idle_time:
            return
        raise DontCloseSpider
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

            self.max_idle_time = settings.getint(
                "MAX_IDLE_TIME_BEFORE_CLOSE",
                defaults.MAX_IDLE_TIME   # default is 0, 不会自动退出
            )
1
2
3
4

可以看到上面的idle_time大于配置的值时，就会返回。因此这里在settings.py配置 MAX_IDLE_TIME_BEFORE_CLOSE = 60就可以实现在idle_time 大于指定值时自动退出。