requests正常scrapy异常---终极解决方案

fiddler抓包进行对比

1、请求url：

requests会自动编码，scrapy不会自动编码，比如url中存在 “|”

2、headers：

scrapy默认有一些自定义的头部：Accept, Accept-Language

DEFAULT_REQUEST_HEADERS = {
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
}
1
2
3
4

3、cookie传递

requests默认cookie不传递
scrapy默认cookie传递（COOKIES_ENABLED默认为true，相当于session模块），

4、cookie构造方式：

scrapy中cookie不能写到headers里，要单独写cookies=cookies_dict（新手最常见的错误）

5、post请求参数构造：

常见的几种post请求构造方法

最终对比数据包完全一致，即可成功

附：
requests加代理：
proxies = {‘http’: ‘http://localhost:8888’, ‘https’:‘http://localhost:8888’}

scrapy加代理：
meta={‘proxy’: “http://localhost:8888”}