码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【爬虫】数据提取之JSONpath


    安装

    pip install jsonpath
    # 或者
    pip install jsonpath -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    • 1
    • 2
    • 3

    使用

    from jsonpath import jsonpath
    ret = jsonpath(json_dict, 'jsonpath语法规则字符串')
    
    • 1
    • 2

    jsonpath语法规则

    JSONPath描述
    $ 表示根元素
    @当前元素
    . or[]子元素
    n/a 父元素,jsonpath未支持
    ..不管位置,选择符合条件的元素
    *匹配所有元素节点
    n/a根据属性访问,jsonpath未支持,因为json是一个key:value的递归结果,不需要属性访问。
    []迭代器标示,可以在里面做简单的迭代操作,如数组下标、根据内容选值等。
    [,]支持迭代器做多选
    ?()支持过滤操作
    ()支持表达式计算
    n/a分组,jsonpath未支持

    举例

    from jsonpath import jsonpath
    book_dict = { 
      "store": {
        "book": [ 
          { "category": "reference",
            "author": "Nigel Rees",
            "title": "Sayings of the Century",
            "price": 8.95
          },
          { "category": "fiction",
            "author": "Evelyn Waugh",
            "title": "Sword of Honour",
            "price": 12.99
          },
          { "category": "fiction",
            "author": "Herman Melville",
            "title": "Moby Dick",
            "isbn": "0-553-21311-3",
            "price": 8.99
          },
          { "category": "fiction",
            "author": "J. R. R. Tolkien",
            "title": "The Lord of the Rings",
            "isbn": "0-395-19395-8",
            "price": 22.99
          }
        ],
        "bicycle": {
          "color": "red",
          "price": 19.95
        }
      }
    }
    res = jsonpath(book_dict, '$.store.book[*].author ')
    print(res)
    #索引从0开始 [索引]
    res = jsonpath(book_dict , '$.store.book[0]')
    print(res)
    #根据条件筛选 ?(@.字段>数值)
    # .. 直达选中字段
    res = jsonpath(book_dict, '$..book[?(@.price>10)]')
    print(res)
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    JSONPath描述
    $.store.book[*].author 获取store中所有的book的作者
    $..author 获取所有的作者
    $.store.*获取store下的所有的元素
    $.store..price 获取store中的所有的图书的价格
    $..book[2]获取第三本书
    $..book[(@.length-1)] | $..book[-1:] 获取最后一本书
    $..book[0,1]| $..book[:2]获取前两本书
    $..book[?(@.isbn)]获取有isbn的所有书
    $..book[?(@.price>10)] 获取价格大于10的所有图书
    $..*获取所有的数据
  • 相关阅读:
    【贪心算法】原理思想、算法步骤,应用示例(找零问题、活动选择问、霍夫曼编码、最小生成树问题、车辆路径问题)
    20--栈与队列-有效的括号
    Vue3.0 如何写自定义指令
    SpringCloud集成Nacos
    <C++>初始化列表_static成员_友元
    kingbase数据库迁移
    鸿蒙开发系列教程(二十四)--List 列表操作(3)
    合宙Air724UG LuatOS-Air LVGL API控件-二维码(Qrcode)
    【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 游乐园门票 (200分) - 三语言AC题解(Python/Java/Cpp)
    管理类联考——数学——汇总篇——知识点突破——数据分析——记忆
  • 原文地址:https://blog.csdn.net/ALL_BYA/article/details/125569404
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号