python爬虫之beautiful soup的使用

3.4 bs对象tag对象的属性获取

        属性可以通过tag['key']来读取，也可以用一个全新的变量来绑定tag的attrs属性进行访问。或者使用tag.get(attr_name)来获取属性的value。另外attrs是一个字典，支持字典的增删改查等操作，从而操作tag的属性。

        多值属性指的是某些标签属性如class，charset……等具有多个属性值，如：，对于这种标签，bs将他们的属性值放在一个list中。而如id等属性只有一个值，他们的属性值为str类型。多值属性列表会自动转换为html里面的多值属性语法格式。

css_soup = BeautifulSoup('
')
css_soup.p['class']
# ["body"]
 
id_soup = BeautifulSoup('
')
id_soup.p['id']
# 'my id'

3.5  NavigableString对象

        一般指tag.string，他是一个伪字符串对象，使用str()将其转换为python的字符串即可。转换之后本质上等同于python的字符串类型。所有字符串的属性及对字符串的方法都对其适用。

        也可以不使用str()转换，直接使用tag.text就是一个字符串。

        他指代某个标签里面的文字内容，而不包括里面嵌套的标签。由于其类似字符串，所以无法修改，但是可以使用replace_with() 方法将其修改为其他字符串。

from bs4 import BeautifulSoup
soup = BeautifulSoup('Extremely bold','lxml')
tag = soup.b
print(tag.string)
print(type(tag.string))
# Extremely bold
# 
 
#---------------------------------------------------#
unicode_string = str(tag.string)
print(unicode_string)
print(type(unicode_string))
# Extremely bold
# 
 
#---------------------------------------------------#
tag.string.replace_with("No longer bold")
print(tag)
# No longer bold
 
 

3.6 comment对象及beautiful soup对象

        了解即可。beautiful soup对象指代document文档对象，本质上也是一个tag；comment指代html文档中的注释内容，是一种特殊的 NavigableString对象，实际中应注意注释混在元素内容之中，造成数据污染。

        说其是一种特殊的 NavigableString对象，是因为：tag.string可以为一个 NavigableString对象，也有可能为一个comment对象。但是一般使用tag.string来访问元素内容，而不是元素里面的注释。

        使用tag.prettify属性来打印出某个tag里面的所有内容，来判断使元素内容还是注释。

四，标签的定位

        使用bs最重要的部分就是标签定位，定位之后才能获取得到我们想要的数据。各种定位方法都是基于对html解析树的操作，类似于二叉树从一个节点向四周寻找节点。所有我们需要做的就是：先定位到一个容易定位的二叉树节点，再从这个节点定位到我们需要的节点。或者使用css选择器精准定位。

4.1 find()&find_all()方法

        官方名字为过滤器，实际上就是通过正则匹配到我们想要的字符串。下面只介绍find_all()，find只能找一个，一般不使用。

        需要注意find_all()的参数，可以是一个tag_name，一个正则对象，一个列表(如，['div','a'])，一个keyword(如，id="mmd")，一个True……

        具体用法如下图：

tag
soup.find_all('b')
# [The Dormouse's story]
 
正则
import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)
# body
# b
 
列表
soup.find_all(["a", "b"])
# [The Dormouse's story,
#  Elsie,
#  Lacie,
#  Tillie]
 
True
for tag in soup.find_all(True):
    print(tag.name)
# html
# head
# title
# body
 
方法
def has_class_but_no_id(tag):
    return tag.has_attr('class') and not tag.has_attr('id')
soup.find_all(has_class_but_no_id)
# [
The Dormouse's story
,
#  
Once upon a time there were...
,
#  
...
]
 

        常用写法：

4.2 select()方法

        参数是一个css选择器。 与前端css中的各种选择器一模一样，这个比find_all()更加常用，毕竟与前端比较类似，容错率高。

soup.select("title")
# []
 
soup.select("p:nth-of-type(3)")
# [
...
]

4.4 节点之间的各种关系定位函数

        参看官方文档，bs4官方文档。

        上面的selec和find_all()基本上能够定位到任何位置了，不需要找爸爸找儿子这种形式去定位了。