• 【爬虫】数据提取之JSONpath


    安装

    pip install jsonpath
    # 或者
    pip install jsonpath -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    • 1
    • 2
    • 3

    使用

    from jsonpath import jsonpath
    ret = jsonpath(json_dict, 'jsonpath语法规则字符串')
    
    • 1
    • 2

    jsonpath语法规则

    JSONPath描述
    $ 表示根元素
    @当前元素
    . or[]子元素
    n/a 父元素,jsonpath未支持
    ..不管位置,选择符合条件的元素
    *匹配所有元素节点
    n/a根据属性访问,jsonpath未支持,因为json是一个key:value的递归结果,不需要属性访问。
    []迭代器标示,可以在里面做简单的迭代操作,如数组下标、根据内容选值等。
    [,]支持迭代器做多选
    ?()支持过滤操作
    ()支持表达式计算
    n/a分组,jsonpath未支持

    举例

    from jsonpath import jsonpath
    book_dict = { 
      "store": {
        "book": [ 
          { "category": "reference",
            "author": "Nigel Rees",
            "title": "Sayings of the Century",
            "price": 8.95
          },
          { "category": "fiction",
            "author": "Evelyn Waugh",
            "title": "Sword of Honour",
            "price": 12.99
          },
          { "category": "fiction",
            "author": "Herman Melville",
            "title": "Moby Dick",
            "isbn": "0-553-21311-3",
            "price": 8.99
          },
          { "category": "fiction",
            "author": "J. R. R. Tolkien",
            "title": "The Lord of the Rings",
            "isbn": "0-395-19395-8",
            "price": 22.99
          }
        ],
        "bicycle": {
          "color": "red",
          "price": 19.95
        }
      }
    }
    res = jsonpath(book_dict, '$.store.book[*].author ')
    print(res)
    #索引从0开始 [索引]
    res = jsonpath(book_dict , '$.store.book[0]')
    print(res)
    #根据条件筛选 ?(@.字段>数值)
    # .. 直达选中字段
    res = jsonpath(book_dict, '$..book[?(@.price>10)]')
    print(res)
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    JSONPath描述
    $.store.book[*].author 获取store中所有的book的作者
    $..author 获取所有的作者
    $.store.*获取store下的所有的元素
    $.store..price 获取store中的所有的图书的价格
    $..book[2]获取第三本书
    $..book[(@.length-1)] | $..book[-1:] 获取最后一本书
    $..book[0,1]| $..book[:2]获取前两本书
    $..book[?(@.isbn)]获取有isbn的所有书
    $..book[?(@.price>10)] 获取价格大于10的所有图书
    $..*获取所有的数据
  • 相关阅读:
    NVIDIA Jeston 相机驱动开发
    使用HTML制作静态宠物网站——蓝色版爱宠之家(HTML+CSS)
    将代码中的调试信息输出到日志文件中
    虹科分享 | 确保冻干工艺开发中精确测量和数据完整性的5步指南
    十大跑步运动耳机品牌排行榜,值得推荐的六款运动耳机
    ELK企业级日志分析系统
    什么是系统架构?
    指针函数、函数指针、指针函数数组
    spring-data-mongodb生成的Query语句order字段顺序错误
    论文阅读NAM:Normalization-based Attention Module
  • 原文地址:https://blog.csdn.net/ALL_BYA/article/details/125569404