python 爬虫之requests 库以及相关函数的详细介绍

get 函数

当你使用 requests.get 函数时，你可以按照以下步骤来发起一个 GET 请求：

1. 导入 requests 模块：

   在你的 Python 脚本或程序中，首先导入 requests 模块。

   import requests
   1

2. 指定目标 URL：

   设置你要请求的目标 URL。

   url = 'https://api.example.com/data'
   1

3. 定义查询参数（如果需要的话）：

   如果你的请求需要包含查询参数，你可以将它们定义为一个字典，并传递给 params 参数。

   params = {'key1': 'value1', 'key2': 'value2'}
   1

4. 发起 GET 请求：

   使用 requests.get 函数发起 GET 请求，传递目标 URL 和查询参数。

   response = requests.get(url, params=params)
   1

5. 处理响应：

   通过检查响应对象的属性，你可以获取服务器的响应信息。

   • response.status_code: 获取响应的状态码。
   • response.headers: 获取响应头信息。
   • response.text: 获取响应的文本内容。
   • response.json(): 将响应内容解析为 JSON 格式。

   if response.status_code == 200:
       print(response.json())
   else:
       print(f'GET 请求失败，状态码：{response.status_code}')
       print(response.text)
   1
   2
   3
   4
   5

6. 其他可选步骤：

   根据你的需求，你可以使用其他可选参数来自定义请求。例如，你可以设置请求头、Cookies、认证等。

   response = requests.get(
       url,
       params=params,
       headers={'User-Agent': 'my-app'},
       cookies={'session_id': '123456'},
       auth=('username', 'password'),
       timeout=10
   )
   1
   2
   3
   4
   5
   6
   7
   8

这些步骤覆盖了使用 requests.get 函数发起 GET 请求的基本过程。根据你的具体需求，你可以灵活使用不同的参数和处理方式。