在数据分析和处理中,经常会遇到需要解析和转换 JSON 格式数据的场景。在工作中需要处理嵌套数据(尤其是无模式的 MongoDB 日志等)或者是网络爬虫抓取下来的多层嵌套数据需要展平处理。如果将它放在 BigQuery 中则很容易通过使用 WITHIN 等的查询将其更改为矩阵形状。那么是否可以编写一个可以很好地完成它的库,Pandas 有一个名为 json_normalize 的 API。
Pandas 库提供了一个非常强大的函数 json_normalize,可以将 JSON 数据转换为 DataFrame,以便进一步分析。
本教程将通过具体的例子,详细介绍如何使用这个函数。
一般来说我们遇见的数据结构分两种。