python-爬虫-requests

安装模块

pip install requests
1

在jupyter notebook里使用Shift+Tab查看

requests

requests库的主要方法

import requests

r = requests.get('http://www.baidu.com/')
r.encoding='utf-8'
r.text
1
2
3
4
5

.text属性可以获取以文本形式呈现出的网页源吗或其他结果

get和post请求

最常用

r = requests.get(url, params, **kwargs)
1

params：请求时需要提交的参数，字典格式（可选）

**kwargs参数

发起请求后，被请求的服务器将会返回一个包含 服务器资源的response对象

响应对象内容

r = requests.get('https://httpbin.org/')
r.status_code		# 200
r.encoding			# 'utf-8'
r.apparent_encoding	# 'Windows-1252'
1
2
3
4

访问目标网站，可以通过data或json方式传递参数

data = {'key1':'value1','key2':'value2'}
r = requests.get(url,data=data)
r.text
1
2
3

requests.post()一般用于表单提交，向指定url提交数据，可提交str、dict、文件等数据

# 向url post一个字典
payload = {'name':'zhangsan','age':'34'}
r = requests.post('http://httpbin.org/post',data=payload)
print(r.text)
# 向url post一个str，自动编码为data
r = requests.post('http://httpbin.org/post',data='helloworld')
print(r.text)
1
2
3
4
5
6
7

---

requests请求HTTPS协议的网址时，报错或得不到数据
一般是由SSL证书引起的，可以在使用requests的时候多加一个verift=False参数来忽略SSL验证

import requests

r = requests.get('https://fanyi.baidu.com/',verify=False)
r.text
1
2
3
4