Python 爬虫之lxml和Xpath提取网页数据

​
​

活动地址：CSDN21天学习挑战赛

一、xlml库

1、定义：

lxml是python的一个解析库，支持HTML和XML格式的解析，XPath，全称XML Path Language，即XML路径语言，很明显是通过路径来定位，通俗点你可以想象成一个树状结构，会有很多节点分支。

2、安装

pip install lxml
1

3解析html页面内容

1）解析html页面

from lxml import etree

url = "test.xml"
# 读取文本
html = etree.parse(url)
# html序列化
result = etree.tostring(html).decode('utf-8')
print(result)
1
2
3
4
5
6
7
8

2）解析html文本

from lxml import etree

data = """


    
        com.alibaba
        fastjson
        1.2.68
    

"""
# 初始化
html = etree.HTML(data)
# 字符串序列化为html
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

二、XPath库

XPath（XML Path Language - XML路径语言），它是一种用来确定XML文档中某部分位置的语言。
Xpath以XML为基础，提供用户在数据结构树中寻找节点的能力，Xpath被很多开发者亲切的称为小型查询语言。

1、语法规则

• 获取路径

• 路径表达式

/html/body/div | /html/body/div1 用|来表示多选

2、Chrome安装xpath_helper插件

xpath_helper(0积分下载)下载地址：https://download.csdn.net/download/walykyy/86405082

1）解压缩

2）找到里面crx

3）打开谷歌浏览器的扩展程序

4）直接把crx拖拽到扩展程序即可

5）添加打开使用OK

6）案例

from lxml import etree
import requests

# 初始化
url = 'http://www.biqugse.com/61353/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
}
# 字符串序列化为html
response = requests.get(url=url, headers=headers)
html = response.text.encode('utf-8')
html_xpath = etree.HTML(html)
result = html_xpath.xpath('//*[@id="intro"]/text()[1]')
print(result)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16