Python爬取网页源代码（自用）

📚博客主页：knighthood2001
✨公众号：认知up吧 （目前正在带领大家一起提升认知，感兴趣可以来围观一下）
🎃知识星球：【认知up吧|成长|副业】介绍
❤️感谢大家点赞👍🏻收藏⭐评论✍🏻，您的三连就是我持续更新的动力❤️
🙏笔者水平有限，欢迎各位大佬指点，相互学习进步！

以下内容可能没有啥含金量，笔者是用来记录自己的学习过程的。因为时间一长，原先的爬虫知识全部遗忘了，不知道该如何爬取网页源代码。

Python爬虫爬取网页源代码，可以采用requests库进行爬取。

import requests

# 定义目标网页的URL
url = 'https://www.baidu.com'
# 发送GET请求获取网页内容
response = requests.get(url)
# 检查响应状态码，200表示请求成功
if response.status_code == 200:
    # 输出网页源代码
    print(response.text)
else:
    # 如果请求失败，打印错误信息
    print('Failed to retrieve webpage:', response.status_code)

1
2
3
4
5
6
7
8
9
10
11
12
13
14

首先导入了 requests库，然后定义了目标网页的 URL。接着，使用 requests.get(url)方法发送了一个 GET 请求，获取了网页的响应对象。然后，通过检查响应对象的状态码来确保请求成功，如果状态码为 200，则通过 response.text 属性获取网页的源代码并打印出来。