爬虫的三大库

大家好，我是爱吃饼干的小白鼠。大家安装完python的requests，beautifulsoup ，lxml三个库，之后，我们就来说说怎么使用吧。然后我教大家一个简单的爬虫程序。

requests库

requests库的作用就是请求网站获取网页数据的，让我们从最简单的实例说起，requests库的使用方法。

import requests
 
url='http://www.ceweekly.cn/2022/1017/397973.shtml'
headers={
    'user-agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
#发送请求
response=requests.get(url=url)
#输出
print(response)
print(response.text)

 程序实现结果如下，表示请求网页成功，若为404，400，则请求失败。

 上面的程序我们加入了请求头，这样可以更好的抓取数据。

请求头如下：

headers={
    'user-agent':' Mozilla/5.0 (Wind