【零基础一看就会】Python爬虫从入门到应用（上）

soup.find_all(["a", "b"])
# [The Dormouse's story,
#  Elsie,
#  Lacie,
#  Tillie]

keyword 参数

如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作指定名字tag的属性来搜索，如果包含一个名字为 id 的参数，Beautiful Soup会搜索每个tag的”id”属性。

soup.find_all(id='link2')
# [Lacie]
 
import re
# 超链接包含elsie标签
print(soup.find_all(href=re.compile("elsie")))
# [Elsie]
# 以The作为开头的字符串
print(soup.find_all(text=re.compile("^The"))) 
# ["The Dormouse's story", "The Dormouse's story"]
# class选择器包含st的节点
print(soup.find_all(class_=re.compile("st")))

搜索指定名字的属性时可以使用的参数值包括字符串、正则表达式、列表、True。

下面的例子在文档树中查找所有包含 id 属性的tag，无论 id 的值是什么：

soup.find_all(id=True)
# [Elsie,
#  Lacie,
#  Tillie]

使用多个指定名字的参数可以同时过滤tag的多个属性：

soup.find_all(href=re.compile("elsie"), id='link1')
# [three]

在这里我们想用 class 过滤，不过 class 是 python 的关键词，这怎么办？加个下划线就可以

print(soup.find_all("a", class_="sister"))
 
'''
[Elsie,
Lacie,
Tillie
]
'''

通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag：

data_soup.find_all(attrs={"data-foo": "value"})
# [
foo!
]

注意：如何查看条件id和class同时存在时的写法

print(soup.find_all('b', class_="story", id="x"))
print(soup.find_all('b', attrs={"class":"story", "id":"x"}))

text 参数

通过 text 参数可以搜搜文档中的字符串内容。与 name 参数的可选值一样，text 参数接受字符串、正则表达式 、列表、True。

import re
 
print(soup.find_all(text="Elsie"))
# ['Elsie']
 
print(soup.find_all(text=["Tillie", "Elsie", "Lacie"]))
# ['Elsie', 'Lacie', 'Tillie']
 
# 只要包含Dormouse就可以
print(soup.find_all(text=re.compile("Dormouse")))
# ["The Dormouse's story", "The Dormouse's story"]

limit 参数

find_all() 方法返回全部的搜索结构，如果文档树很大那么搜索会很慢。如果我们不需要全部结果，可以使用 limit 参数限制返回结果的数量。效果与SQL中的limit关键字类似，当搜索到的结果数量达到 limit 的限制时，就停止搜索返回结果。

print(soup.find_all("a",limit=2))
print(soup.find_all("a")[0:2])
 
'''
[Elsie, 
Lacie]
'''

find()

find(name , attrs , recursive , string , **kwargs )

find_all() 方法将返回文档中符合条件的所有tag，尽管有时候我们只想得到一个结果。比如文档中只有一个标签，那么使用 find_all() 方法来查找标签就不太合适，使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法。下面两行代码是等价的：

soup.find_all('title', limit=1)
# []
 
soup.find('title')
# 

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表，而 find() 方法直接返回结果。

find_all() 方法没有找到目标是返回空列表，find() 方法找不到目标时，返回 None。

print(soup.find("nosuchtag"))
# None

soup.head.title 是 tag的名字方法的简写。这个简写的原理就是多次调用当前tag的 find() 方法：

soup.head.title
# 
 
soup.find("head").find("title")
# 

find_parents() 和 find_parent()

a_string = soup.find(text="Lacie")
print(a_string)  # Lacie
 
print(a_string.find_parent())
# Lacie
print(a_string.find_parents())
print(a_string.find_parent("p"))
'''
    Once upon a time there were three little sisters; and their names were
    Elsie,
    Lacie and
    Tillie;
    and they lived at the bottom of a well.
'''

1.4 beautifulsoup的css选择器

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

通过标签名查找

print(soup.select("title"))  #[]
print(soup.select("b"))      #[The Dormouse's story]

通过类名查找

print(soup.select(".sister")) 
 
'''
[Elsie, 
Lacie, 
Tillie]
'''

id名查找

print(soup.select("#link1"))
# [Elsie]

组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print(soup.select("p #link2"))
 
#[Lacie]

直接子标签查找

print(soup.select("p > #link2"))
# [Lacie]

查找既有class也有id选择器的标签

a_string = soup.select(".story#test")

查找有多个class选择器的标签

a_string = soup.select(".story.test")

查找有多个class选择器和一个id选择器的标签

a_string = soup.select(".story.test#book")

属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print(soup.select("a[href='http://example.com/tillie']"))
#[Tillie]

select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 get_text() 方法来获取它的内容：

for title in soup.select('a'):
    print (title.get_text())
 
'''
Elsie
Lacie
Tillie
'''

二、xpath解析

1.1 xpath安装与使用

安装

• 安装lxml库

  pip install lxml -i pip源

1.2 解析流程与使用

解析流程

• 实例化一个etree的对象，把即将被解析的页面源码加载到该对象

• 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取

使用

• 导入lxml.etree

  from lxml import etree

• etree.parse()

  解析本地html文件

  html_tree = etree.parse('XX.html')

• etree.HTML()(建议)

  解析网络的html字符串

  html_tree = etree.HTML(html字符串)

• html_tree.xpath()

  使用xpath路径查询信息，返回一个列表

注意：如果lxml解析本地HTML文件报错可以安装如下添加参数。

parser = etree.HTMLParser(encoding="utf-8")
selector = etree.parse('./lol_1.html',parser=parser)
result=etree.tostring(selector)

1.3 xpath语法

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

路径表达式

实例

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

实例

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

逻辑运算

查找所有id属性等于head并且class属性等于s_down的div标签

//div[@id="head" and @class="s_down"]

选取文档中的所有 title 和 price 元素。

//title | //price

注意: “|”两边必须是完整的xpath路径

属性查询

查找所有包含id属性的div节点

//div[@id]

查找所有id属性等于maincontent的div标签

//div[@id="maincontent"]

查找所有的class属性

//@class

//@attrName

//li[@name="xx"]//text()  # 获取li标签name为xx的里面的文本内容

获取第几个标签 索引从1开始

tree.xpath('//li[1]/a/text()')  # 获取第一个
tree.xpath('//li[last()]/a/text()')  # 获取最后一个
tree.xpath('//li[last()-1]/a/text()')  # 获取倒数第二个

模糊查询

查询所有id属性中包含he的div标签

//div[contains(@id, "he")]

查询所有id属性中包以he开头的div标签

//div[starts-with(@id, "he")]

内容查询

查找所有div标签下的直接子节点h1的内容

//div/h1/text()

属性值获取

//div/a/@href   获取a里面的href属性值

获取所有

//*  #获取所有
//*[@class="xx"]  #获取所有class为xx的标签

获取节点内容转换成字符串

c = tree.xpath('//li/a')[0]
result=etree.tostring(c, encoding='utf-8')
print(result.decode('UTF-8'))