---

前言

使用接口爬取数据用！

---

一、Request中的Post方法相关参数介绍以及实战

1-1、Post方法

参数介绍
url: 必填，请求的网址
data： 选填，字典，元组列表，字节或者要发送到URL的文件对象。
json： 可选，发送到指定URL的JSON对象。
files： 可选，要发送到URL的文件字典
allow_redirects：可选。用于启用/禁用重定向的布尔值。
默认True（允许重定向）
auth： 可选。用于启用某种HTTP身份验证的元组。
默认None
cert：可选。指定证书文件或密钥的字符串或元组。
默认None
cookies: 可选。要发送到指定网址的Cookie字典。
默认None
headers：可选。要发送到指定网址的HTTP标头字典。
默认None
proxies： 可选。URL代理协议字典。
默认None
stream： 可选。如果响应应立即下载（False）或流式传输（True）的布尔指示。
默认False
timeout： 可选。一个数字或一个元组，指示等待客户端建立连接和/或发送响应的秒数。
默认值None表示请求将继续，直到连接关闭。
verify： 可选。用于验证服务器TLS证书的布尔值或字符串指示。默认True

1-2、实战

import requests
import configparser
import pprint
import json

url = '这里写具体的url'
    json = {
        '这里写具体要获取的资源，字典格式'
    }
    headers = {
        "User-Agent": '这里写用户代理的一些信息，打开网站，点检查，点网络，点击下边的第一个元素，在请求标头下找到User-Agent贴过来',
        "cookie": '和找到User-Agent方法一样，在下边找到cookie'}
    session = requests.session()
    # 传入相关参数，开始请求
    response = session.post(url=url, json=json , headers=headers)
    pprint.pprint(json.loads(response.text))

    return response
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

二、JSON文件介绍以及解析

2-1、JSON文件介绍

# JSON格式是网站和API使用的通用标准格式，它是一种数据结构，将对象用文本形式表示出来。
# JSON格式字符串示例：
# JSON数据看起来像是一个Python字典，以键值对的形式传递数据。然而，JSON数据也可以是字符串、数字、布尔值或者是列表。
{
   "name": "United States",
   "population": 331002651,
   "capital": "Washington D.C.",
   "languages": [
  "English",
  "Spanish"
   ]
}

# 在JSON流行之前，XML是更常见的选择，但是看起来相对比较复杂
# XML相同信息示例：
<?xml version="1.0" encoding="UTF-8"?>
<country>
   <name>United States</name>
   <population>331002651</population>
   <capital>Washington D.C.</capital>
   <languages>
       <language>English</language>
       <language>Spanish</language>
   </languages>
</country>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

2-2、Python中的JSON模块以及解析JSON数据

# Python原生支持JSON数据，Python Json模块是标准库的一部分。
# 这个JSON模块可以将JSON数据从JSON格式转换为等效的Python对象，例如字典和列表，还可以反向转换。
# 将JSON字符串解析为Python字典（解析为什么格式的数据主要看输入的数据是什么）
# eg：
import json

country = '{"name": "United States", "population": 331002651}'
# loads: 代表的是字符串，loads方法用于读取JSON字符串。
country_dict = json.loads(country)
# country_dict 此时已经是Python字典
# 除了loads()方法，还有load()方法，load()用于读取文件中的JSON数据。load()方法接收一个文件对象并返回解析为Python对象的JSON数据。
1
2
3
4
5
6
7
8
9
10
11

2-3、将python对象转换为JSON字符串

# 将Python对象转换为JSON对象也称为序列化或JSON编码。可以使用函数dumps()来实现。
import json

languages = ["English","French"]
country = {
       "name": "Canada",
       "population": 37742154,
       "languages": languages,
       "president": None,
}

country_string = json.dumps(country)
print(country_string)
1
2
3
4
5
6
7
8
9
10
11
12
13

结果：

{"name": "Canada", "population": 37742154, "languages": ["English", "French"],

 "president": null}
1
2
3

三、requests.post()和session.post()的区别

3-1、requests.post用法

import requests
response = requests.post(url=url)
1
2

3-2、session.post用法

import requests
session = requests.session()
response = session.post(url=url)

# 获取到cookies
cookie = session.cookies
1
2
3
4
5
6

3-3、区别

requests.post：在调用完成后就关闭了连接，所以cookies就随着connect的消亡而消亡。
session.post：高级用法，未关闭上下文连接，会话一直保持在连接池内，即cookies是一直有效的。
总结：
1、request占用资源较少，安全性比较高，但是无法获取到特别多的信息。
2、session相对来说消耗资源较多，安全性相对较低，但是可以获取到更多的信息，例如cookies。
3、request相当于某一次访问的局域变量，session相当于客户端的全局变量。

参考文章：
Python Requests post() 方法.
request和session的区别.
使用Python读取和解析JSON数据教程.
python调用request.post请求与Postman方法.

---

总结

爱情只会影响我敲代码的速度！