码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【爬虫】数据提取之JSONpath


    安装

    pip install jsonpath
    # 或者
    pip install jsonpath -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    • 1
    • 2
    • 3

    使用

    from jsonpath import jsonpath
    ret = jsonpath(json_dict, 'jsonpath语法规则字符串')
    
    • 1
    • 2

    jsonpath语法规则

    JSONPath描述
    $ 表示根元素
    @当前元素
    . or[]子元素
    n/a 父元素,jsonpath未支持
    ..不管位置,选择符合条件的元素
    *匹配所有元素节点
    n/a根据属性访问,jsonpath未支持,因为json是一个key:value的递归结果,不需要属性访问。
    []迭代器标示,可以在里面做简单的迭代操作,如数组下标、根据内容选值等。
    [,]支持迭代器做多选
    ?()支持过滤操作
    ()支持表达式计算
    n/a分组,jsonpath未支持

    举例

    from jsonpath import jsonpath
    book_dict = { 
      "store": {
        "book": [ 
          { "category": "reference",
            "author": "Nigel Rees",
            "title": "Sayings of the Century",
            "price": 8.95
          },
          { "category": "fiction",
            "author": "Evelyn Waugh",
            "title": "Sword of Honour",
            "price": 12.99
          },
          { "category": "fiction",
            "author": "Herman Melville",
            "title": "Moby Dick",
            "isbn": "0-553-21311-3",
            "price": 8.99
          },
          { "category": "fiction",
            "author": "J. R. R. Tolkien",
            "title": "The Lord of the Rings",
            "isbn": "0-395-19395-8",
            "price": 22.99
          }
        ],
        "bicycle": {
          "color": "red",
          "price": 19.95
        }
      }
    }
    res = jsonpath(book_dict, '$.store.book[*].author ')
    print(res)
    #索引从0开始 [索引]
    res = jsonpath(book_dict , '$.store.book[0]')
    print(res)
    #根据条件筛选 ?(@.字段>数值)
    # .. 直达选中字段
    res = jsonpath(book_dict, '$..book[?(@.price>10)]')
    print(res)
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    JSONPath描述
    $.store.book[*].author 获取store中所有的book的作者
    $..author 获取所有的作者
    $.store.*获取store下的所有的元素
    $.store..price 获取store中的所有的图书的价格
    $..book[2]获取第三本书
    $..book[(@.length-1)] | $..book[-1:] 获取最后一本书
    $..book[0,1]| $..book[:2]获取前两本书
    $..book[?(@.isbn)]获取有isbn的所有书
    $..book[?(@.price>10)] 获取价格大于10的所有图书
    $..*获取所有的数据
  • 相关阅读:
    看完这一篇,ShardingSphere-jdbc 实战再也不怕了
    Ceres 自动求导解析-从原理到实践
    三款“非主流”日志查询分析产品初探
    windows 修改hosts映射,可以ping通,但是无法通过http url 路径访问,出现 500 Internal Privoxy Error
    【JVM】如何定位、解决内存泄漏和溢出
    JVM第十八讲:调试排错 - Java 问题排查之工具单
    自定义类型:结构体,枚举,联合的学习
    SpringBoot 整合 Redis 全面教程:从配置到使用
    ingenic carrier-server fgets is err问题
    Mysql通用日志(general)文件太大,如何定期清理与备份
  • 原文地址:https://blog.csdn.net/ALL_BYA/article/details/125569404
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号