Python爬虫——Selenium 定位节点及获取节点信息

1、定位节点

当我们想要操作一个节点时，必须先找到这个节点，通过 Selenium 提供的定位节点的方法可以获取到想要的节点，获取节点后可以选择是执行下一步动作（如填充表单、模拟点击等）还是提取数据。

Selenium 4 之前使用 find_element_by_*() 方法定位节点，Selenium 4之后使用 find_element()方法。

使用find_element_by_*() 方法只需导入 from selenium import webdriver，使用 find_element() 方法除了导入 from selenium import webdriver ，还要导入 from selenium.webdriver.common.by import By。

Selenium4 提供了 8 种定位（单）节点的方法，如下表所示：

find_element找的是第一个符合条件的节点，

如果要查找所有符合条件的标签，需要用 find_elements，find_elements 的返回值是列表类型，可以用for循环遍历里面的节点。

定位节点使用实例

from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器对象并访问网站
browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 根据 id 定位
browser.find_element(By.ID,'su')

# 根据 name 定位
# 返回第一个元素
browser.find_element(By.CLASS_NAME,'fenlei')
# 返回所有元素
browser.find_elements(By.CLASS_NAME,'fenlei')

# 根据 class 定位
browser.find_element(By.NAME,'title-text c-font-medium c-color-t')
browser.find_elements(By.NAME,'title-text c-font-medium c-color-t')

# 根据标签名称定位
browser.find_element(By.TAG_NAME,'input')
browser.find_elements(By.TAG_NAME,'input')

# 使用链接文本定位超链接
browser.find_element(By.LINK_TEXT,'index')
browser.find_elements(By.LINK_TEXT,'index')
browser.find_element(By.PARTIAL_LINK_TEXT,'index')
browser.find_elements(By.PARTIAL_LINK_TEXT,'index')

# 使用 xpath 定位
browser.find_element(By.XPATH,'//input[@id="su"]')
browser.find_elements(By.XPATH,'//input[@id="su"]')

# 使用 CSS 选择器定位
browser.find_element(By.CSS_SELECTOR,'#su')
browser.find_elements(By.CSS_SELECTOR,'#su')

# 关闭浏览器
browser.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

2、获取节点信息

使用get_attribute()方法获取节点中指定属性的属性值，参数为节点中的属性

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')

# 获取class的属性值
print(element.get_attribute('class'))
# 获取id的属性值
print(element.get_attribute('id'))
# 获取type的属性值
print(element.get_attribute('type'))
# 获取value的属性值
print(element.get_attribute('value'))

browser.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

定位到的节点：

执行结果：

bg s_btn
su
submit
百度一下
1
2
3
4

使用 .tag_name 方法获取节点的标签名

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')
# 获取节点的标签名
print(element.tag_name)
1
2
3
4
5
6
7
8
9
10
11

执行结果：

input
1

使用 .text 获取节点文本，没有文本则不返回

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)
# 根据a标签的文本定位节点
element1 = browser.find_element(By.LINK_TEXT,"地图")
# 获取节点内容
print(element1.text)
browser.close()
1
2
3
4
5
6
7
8
9
10
11

定位的a标签：

执行结果：

地图
1