Python-Requests

Python-requests(爬虫和请求)

requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多，requests 允许你发送 HTTP/1.1 请求。指定 URL并添加查询url字符串即可开始爬取网页信息等操作

因为是第三方库，所以使用前需要cmd安装

pip install requests
1

小试牛刀:

# 导入 requests 包
import requests

# 发送请求
x = requests.get('https://www.baidu.com/')

# 返回网页内容
print(x.text)

1
2
3
4
5
6
7
8
9

response 对象

每次调用 requests 请求之后，会返回一个 response 对象，该对象包含了具体的响应信息。

response方法

requests方法

请求时常用参数

设置请求头

kw = {'s':'python'}
# 设置请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
 
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("https://www.baidu.com/", params = kw, headers = headers)
# https://www.baidu.com/?s=python

1
2
3
4
5
6
7
8

post

requests.post(url, data={key: value}, json={key: value}, args)

• url 请求 url。
• data 参数为要发送到指定 url 的字典、元组列表、字节或文件对象。
• json 参数为要发送到指定 url 的 JSON 对象。
• args 为其他参数，比如 cookies、headers、verify等。

# 导入 requests 包
import requests

# 发送请求
x = requests.post('https://www.baidu.com/try/ajax/demo_post.php')

# 返回网页内容
print(x.text)
1
2
3
4
5
6
7
8

带请求体发送

# 导入 requests 包
import requests

# 表单参数，参数名为 fname 和 lname
myobj = {'fname': 'baidu','lname': 'Boy'}

# 发送请求
x = requests.post('https://www.baidu.com/try/ajax/demo_post2.php', data = myobj)

# 返回网页内容
print(x.text)
1
2
3
4
5
6
7
8
9
10
11

高级用法

SSL Cert Verification

使用代理

超时设置

弹框认证

异常处理

上传文件

点赞 -收藏-关注-便于以后复习和收到最新内容 有其他问题在评论区讨论-或者私信我-收到会在第一时间回复 在本博客学习的技术不得以任何方式直接或者间接的从事违反中华人民共和国法律,内容仅供学习、交流与参考 免责声明：本文部分素材来源于网络，版权归原创者所有，如存在文章/图片/音视频等使用不当的情况，请随时私信联系我、以迅速采取适当措施，避免给双方造成不必要的经济损失。 感谢,配合,希望我的努力对你有帮助^_^