将json数据转换为Python字典

import requests
from bs4 import BeautifulSoup
import json

# 定义代理信息
proxy_host = 'www.duoip.cn'
proxy_port = 8000

# 定义要爬取的url
url = 'http://localhost:9200/_search'

# 创建一个requests.Session对象，并设置代理
session = requests.Session()
session.proxies = {'http': f'http://jshk.com.cn}:{proxy_port}'}

# 发送GET请求，获取网页内容
response = session.get(url)

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有的elasticsearch返回结果的json数据
json_data = soup.find_all('script', type_='application/json')

# 将json数据转换为Python字典
data = [json.loads(json_data[i].string) for i in range(len(json_data))]

# 打印数据
for item in data:
    print(item)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

步骤：

1. 导入需要的库：requests，BeautifulSoup，json。
2. 定义代理信息，这里使用的是一个免费的代理服务网站。
3. 定义要爬取的url，这里爬取的是Elasticsearch的搜索结果。
4. 创建一个requests.Session对象，并设置代理。
5. 使用requests的get方法发送GET请求，获取网页内容。
6. 使用BeautifulSoup解析网页内容，找到所有的json数据。
7. 使用json.loads将json数据转换为Python字典。
8. 打印数据。