我最近自学了一段时间爬虫,感觉挺有意思的,逛网页的时候,无意间发现了一个壁纸网站,我就萌生了一个想法,看能不能下下来,说干就干。
前言
目标网站:首先我们要知道我们的目标位置。
编程语言:python
环境使用
模块使用
请求头
# python代码对于服务器发送请求 >>> 服务器接收之后(如果没有伪装)被识别出来, 是爬虫程序, >>> 不会给你返回数据
# 客户端(浏览器) 对于 服务器发送请求 >>> 服务器接收到请求之后 >>> 浏览器返回一个response响应数据
# headers 请求头 就是把python代码伪装成浏览器进行请求
# headers参数字段 是可以在开发者工具里面进行查询 复制
# 并不是所有的参数字段都是需要的
# user-agent: 浏览器的基本信息 (相当于披着羊皮的狼, 这样可以混进羊群里面)
# cookie: 用户信息 检测是否登录账号 (某些网站 是需要登录之后才能看到数据, B站一些数据内容)
# referer: 防盗链 请求你的网址 是从哪里跳转过来的 (B站视频内容 / 妹子图图片下载 / 唯品会商品数据)
# 根据不同的网站内容 具体情况 具体分析
下面就按照爬虫的思路,一步