21天学习挑战赛——Python爬虫解析器BeautifulSoup4

​目录

1. BeautifulSoup4概述

1.1 BeautifulSoup4介绍

1.2 导入BeautifulSoup

​1.3 解析库

2. 应用举例

2.1 基础操作

2.2 对象种类 

2.2.1 Tag

2.2.2 NavigableString

2.2.3 BeautifuSoup

2.2.4 Comment

2.3 搜索文档树

2.4 css选择器

⭐A person can succeed at almost anything for which they have unlimited enthusiasm.

     只要有无限的热情，一个人几乎可以在任何事情上取得成功。                                   🌈

活动地址：CSDN21天学习挑战赛

1. BeautifulSoup4概述

1.1 BeautifulSoup4介绍

        BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，它能够通过自己喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful可以节省数小时甚至数天的工作时间。BeautifulSoup4是Python第三方库，需要进行下载。Pycharm下载方式：地址

BeautifulSoup4将网页转换为一棵DOM树，如下图所示：

1.2 导入BeautifulSoup

from bs4 import BeautifulSoup

​1.3 解析库

        BeautifulSoup在解析式实际上依赖解析器，它除了支持Python标准宽中的HTML解析器外，还支持一些第三方解析器（比如lxml）。

        其中，最常用的解析器是lxml HTML解析器，其次是html5lib 。

2. 应用举例

2.1 基础操作

2.2 对象种类 

        BeautifulSoup将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，所有对象可以归纳为4中：Tag、NavigableString、BeautifulSoup、Comment。

2.2.1 Tag

        Tag通俗点讲就是HTML中的一个个标签。Tag有很多方法和属性，在遍历文档树和搜索文档树中有详细解释。Tag最重要的属性是：name和attributes。注意：如果改变了Tag的name属性，将影响所有通过当前BeautifulSoup对象生成的HTML文档。Tag的属性可以被添加、删除和修改。

用法举例：

from bs4 import BeautifulSoup
 
soup = BeautifulSoup('Extremely bold','lxml')
tag = soup.b
print(tag) #输出：Extremely bold
print(type(tag)) #输出：
 
#name属性
print(tag.name) #输出：b
tag.name = 'b1'
print(tag) #输出：Extremely bold
 
#Attributes属性
print(tag['class']) #选择class属性。输出：['boldest']
print(tag.attrs) #之间用“点”取属性，例如.attrs，选择attrs属性。输出：{'class': ['boldest']}
 
#添加id属性
tag['id']=1
#修改class属性
tag['class'] = 'tl1'
#删除class属性
del tag['class']

2.2.2 NavigableString

        NavigableString用.string获取标签内部的文字。

​​​​​​​用法举例：

from bs4 import BeautifulSoup
 
soup = BeautifulSoup('Extremely bold','lxml')
print(soup.b.string) #输出：Extremely bold
print(type(soup.b.string)) #输出：

2.2.3 BeautifuSoup

        BeautifulSoup表示的是一个文档的内容，可以获取它的类型、名称以及属性。

​​​​​​​用法举例：

from bs4 import BeautifulSoup
 
soup = BeautifulSoup('Extremely bold','lxml')
print(type(soup.name)) #输出：
print(soup.name) #输出：[document]
print(soup.attrs) #输出：{}   文档本身的属性为空

2.2.4 Comment

        Comment是一个特殊类型的NavigableString对象，其输出的内容不包括注释符号。

​​​​​​​用法举例：

from bs4 import BeautifulSoup
 
soup = BeautifulSoup('Extremely bold','lxml')
print(soup.b) #输出：Extremely bold
print(soup.b.string) #输出：Extremely bold
print(type(soup.b.string)) #输出：

2.3 搜索文档树

函数语法：find_all(name, attrs, recursive, text, **kwargs)

参数说明：

name ：name参数可以查找所有名字为name的tag，字符串对象会被自动忽略掉。可以匹配字符串、正则表达式、列表；

text ：通过text参数可以搜搜文档中的字符串内容，与name参数的可选值一样，text参数接收字符串、正则表达式、列表；

用法举例：

1.name参数举例

soup.find_all('a') ：查找与字符串完整匹配的内容，用于查找文档中所有的标签

from bs4 import BeautifulSoup
 
html = '''
    
        
Hello