【jq】如何优雅在shell脚本处理json？

jq 是一款命令行的 json 处理工具。类似于 lodash 一样，它可以对 json 做各种各样的处理: pick，get，filter，sort，map…
如果需要更多的细节，可以参考官方文档
jq 主要可以分作两部分，options 即选项，filter 即各种转换操作，类似于 lodash 的各种函数

option

常用以下几个选项

• -s: 把读取的 jsonl 视作 JSON 数组来处理 (如 group, sort 只能以数组作为输入)
• -c: 不对输出的 json 做格式化，一行输出
• –stream: 对 json 逐字段输出

filter

filter 拥有 JSON 处理的各种操作，如 get，map，filter，map，pick，uniq，group 等操作

• . : 代表自身
• .a.b: 相当于 _.get(input, ‘a.b’)
• select(bool): 相当于 _.filter(boolFn)
• map_values: 相当于 _.map，不过 jq 无法单独操作 key
• sort
• group_by

jq [options...] filter [files]
1

举例说明

下面以demo.json为例子

{
  "name": "shanyue",
  "age": 24,
  "friend": {
    "name": "shuifeng"
  }
}
{
  "name": "shuifeng",
  "age": 25,
  "friend": {
    "name": "shanyue"
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

1. 如何把 JSON 转化为 JSONL

cat demo.json | jq '.[]'
1

2. 如何把 JSONL 转化为 JSON

cat demo.jsonl | jq -s '.'
1

3. 如何使 JSONL 只输出特定的字段

cat demo.jsonl | jq '.name'
1

如何筛选 JSONL 特定字段进行输出

cat demo.jsonl | jq 'select(.age > 24) | {name}'
1

如何与 less/tail 结合使用
例如，如果 JSON 数据过大时，可选择使用 less 查看数据，如果在 less 中需要语法高亮时，可使用 jq -C

cat demo.json | jq -C '.' | less
1

例如，在后端写 API 接口时，生产环境的日志往往通过 JSONL 格式进行文件存储，此时可通过 tail -f 实时查看日志

tail -f demo.jsonl | jq '.'
1

如果只关注某个参数的话，也可以进行筛选

 tail -f demo.jsonl | jq '{name}'
1