• Xpath使用方法

    目录

    一、安装

    二、xpath基本语法

     2.1、依赖

     2.2、xpath语法

    2.3、实例

     2.3.1、html文件

     2.3.2、python

    三、获取百度网站首页的“百度一下”

     3.1、步骤

     3.2、注意

    一、安装

     1）安装xpath插件

     2）在chrome中安装xpath插件

     3）将xpath拖入即可

     4）验证xpath

            1》点击 ctrl + shift + x 出现小黑框，即代表安装成功

            2》再次点击 ctrl + shift + x 即可关闭小黑框

    二、xpath基本语法

     2.1、依赖

      1）安装 lxml 库

      2）导入 lxml.etree

      3）解析 html 文件

    1. # xpath解析
    2. （1）本地文件                                           etree.parse
    3. （2）服务器响应的数据 response.read().decode('utf8')      etree.HTML()

      4）获取特定组件内容

    tree.xpath('xpath路径')

     2.2、xpath语法

      1、路径查询

            //：查找所有子孙节点，不考虑层级关系

            /：找直接子节点

      2、谓词查询

            //div[@id]

            //div[@id="maincontent"]

      3、属性查询

            //@class

      4、模糊查询

            //div[contains(@id, "he")]

            //div[starts-with(@id, "he")]

      5、内容查询

            //div/h1/text()

      6、逻辑运算

            //div[@id="head" and @class="s_down"]

            //title | //price

    2.3、实例

     2.3.1、html文件

    1. html>
    2. <html lang="en">
    3. <head>
    4.     <meta charset="UTF-8"/>
    5.     <title>Titletitle>
    6. head>
    7. <body>
    8.     <ul>
    9.         <li id="l1" class="c1">北京li>
    10.         <li id="l2">上海li>
    11.         <li>深圳li>
    12.         <li>武汉li>
    13.     ul>
    14.  
    15.     <ul>
    16.         <li>大连li>
    17.         <li>锦州li>
    18.         <li>沈阳li>
    19.     ul>
    20. body>
    21. html>

     2.3.2、python

    1. from lxml import etree
    2.  
    3. # xpath解析
    4. # （1）本地文件                                           etree.parse
    5. # （2）服务器响应的数据 response.read().decode('utf8')      etree.HTML()
    6.  
    7. # xpath解析本地文件
    8. tree = etree.parse("17_xpath基本使用.html")
    9.  
    10. # tree.xpath('xpath路径')
    11.  
    12. # 查找ul下面的li
    13. li_list= tree.xpath('//body//ul/li')
    14.  
    15. # 查找所有有id属性的li标签
    16. # text()获取标签中的内容
    17. li_list1 = tree.xpath('//ul/li[@id]/text()')
    18.  
    19. # 查找id为l1的li标签，注意“引号”的问题
    20. li_list2 = tree.xpath('//ul/li[@id="l1"]/text()')
    21.  
    22. # 查找到id为l1的li标签的class的属性值
    23. li1 = tree.xpath('//ul/li[@id="l1"]/@class')
    24.  
    25. # 查询id中包含l的li标签
    26. li2 = tree.xpath('//ul/li[contains(@id,"l")]/text()')
    27.  
    28. # 查询id的值以l开头的li标签
    29. li3 = tree.xpath('//ul/li[starts-with(@id,"l")]/text()')
    30.  
    31. # 查询id为l1和class为c1的标签
    32. li4 = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
    33.  
    34. # 查询id为l1或id为l2的标签(只能通过标签获取而不是属性)
    35. li = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()')
    36.  
    37. # 判断列表的长度
    38. print(li)
    39. print(len(li))

    三、获取百度网站首页的“百度一下”

     3.1、步骤

     1）根据网页源码，编写xpath路径

     2）编写代码

    1. from lxml import etree
    2. import urllib.request
    3.  
    4. # （1）获取网页源码
    5. # （2）解析服务器响应的数据 response.read().decode('utf8')      etree.HTML()
    6. # （3）打印
    7.  
    8. url = "https://www.baidu.com/"
    9.  
    10. headers = {
    11.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    12. }
    13.  
    14. # 请求对象的定制
    15. request = urllib.request.Request(url=url, headers=headers)
    16.  
    17. # 模拟浏览器访问服务器
    18. response = urllib.request.urlopen(request)
    19.  
    20. # 获取网页源码
    21. content = response.read().decode("utf8")
    22.  
    23. # 解析网页源码，获取想要的数据
    24. tree = etree.HTML(content)
    25.  
    26. # 获取想要的数据 xpath的返回值是一个列表类型的数据
    27. result = tree.xpath('//input[@id="su"]/@value')[0]
    28.  
    29. print(result)

     3.2、注意

            爬取到的html可能和浏览器解析的html不一样，故存在浏览器xpath_helper可以获取到，而代码获取不到的情况，需要查看爬取到的源码：

  • 相关阅读:
    Java Stream流的使用
    你以为搞个流水线每天跑，团队就在使用CI/CD实践了？
    设计模式之（12）——外观模式
    模拟vue动态路由
    Linux内存管理（十）：备选区域初始化
    Qt Designer UI设计布局小结
    COMP3511 Spring 2022
    axios拦截器是什么？（请求拦截器、相应拦截器），作用？挂载请求头携带token、权限验证等
    msvcr120.dll缺失怎么修复，快速修复msvcr120.dll丢失的三个有效方法
    稳定好用的短连接生成平台,支持API批量生成
  • 原文地址：https://blog.csdn.net/weixin_44302046/article/details/126715462