Python21天学习挑战赛Day(15-16)·lxml库与Xpath提取网页数据

from lxml import etree
 
# 将html文件进行读取
html = etree.parse('index.html')
 
# 将html内容序列化
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))
html = etree.HTML(result)  # 这里需要传入一个html形式的字符串
print(html)
print(type)

"en">
    "UTF-8"/>
    
    
"林" class="student">19-year-old

三，Xpath

XPath(XML Path Language)是一门在xml文档中查找信息的语言，可用来在xml文档中对元素和属性遍历

        选取节点

常用路径表达式：

        谓语 

用于查找某个特定节点或者包含某个特定的值的节点，被嵌在方括号中。

         选取未知节点

XPath通配符可以用来选取未知的XML元素

         选取若干路径

        通过在路径表达式中使用‘|’运算符，可选取若干路径

         Chrome插件XPath Helper安装使用

插件下载地址：https://download.csdn.net/download/weixin_62599885/86401664

安装

         打开chrome——点击右上角（三个点）——更多工具——扩展程序——将插件拖入

使用

·点击碎片图案，选择XPath插件，选择固定

·定位爬取内容：按住x键，选中要爬取的信息即可获取标签路径

        Xpath实战 

依然使用上面的index.html文件

1.获取所有的标签

from lxml import etree
 
html = etree.parse('index.html')
print(type(html))  # 显示etree.parse() 返回类型
 
result = html.xpath('//wi')
 
print(result)  # 打印标签的元素集合
print(len(result))
print(type(result))
print(type(result[0]))

输出——

<class 'lxml.etree._ElementTree'>
[0x20e534f37c0>, 0x20e5370fb00>]
2
<class 'list'>
<class 'lxml.etree._Element'>
 
进程已结束,退出代码0

 2.获取标签所有class属性

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//wi/@class')
 
print(result)

输出——

['student']

3.获取

标签下name为林的
• 标签

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//ul/li[@name="林"]')
 
print(result)

输出——

[0x2b6654df880>]

4.获取 标签下所有的 标签

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//ul/ti')
 
print(result)

输出——

[0x24d9c46fb00>, 0x24d9c46fa80>]

5.获取

标签下的 标签里的所有 class:

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//ul/ti//@class')
 
print(result)

输出——

['time', 'incident']

6.获取最后一个

的 的

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//ul[last()]/wi//@love-food')
 
print(result)

输出——

['月饼']

7.获取倒数第二个元素的内容

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//ul[last()-1]/wi')
 
print(result[0].text)

输出——

18-year-old

8.获取class 值为 incident 的标签名

from lxml import etree
 
html = etree.parse('index.html')
result = html.xpath('//*[@class="incident"]')
#tag方法可以获取标签名
print(result[0].tag)

输出——

ti