scrapy框架搭建

安装scrapy

pip install scrapy -i 镜像源
1

创建项目

scrapy startproject 项目名字
1

创建爬取的单个小项目

cd 项目名字
scrapy genspider baidu baidu.com
""" spiders文件夹下生成baidu.py文件"""
1
2
3

开启一个爬虫

scrapy crawl baidu
1