在Python中操纵json数据的最佳方式

川长思鸟来 2022-09-09 11:59 235阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

一身报国有万死，双鬓向人无再青。

> ❝
> 
> 本文示例代码及文件已上传至我的`Github`仓库https://github.com/CNFeffery/DataScienceStudyNotes
> 
> ❞

# 1 简介 #

在日常使用`Python`的过程中，我们经常会与`json`格式的数据打交道，尤其是那种嵌套结构复杂的`json`数据，从中抽取复杂结构下键值对数据的过程枯燥且费事。

而熟悉`xpath`的朋友都知道，对于`xml`格式类型的具有层次结构的数据，我们可以通过编写`xpath`语句来灵活地提取出满足某些结构规则的数据。

类似的，`JSONPath`也是用于从`json`数据中按照层次规则抽取数据的一种实用工具，在`Python`中我们可以使用`jsonpath`这个库来实现`JSONPath`的功能。

![8c0f92b7eaac54b06612148da871b25d.png][]

# 2 在Python中使用JSONPath提取json数据 #

`jsonpath`是一个第三方库，所以我们首先需要通过`pip install jsonpath`对其进行安装。

## 2.1 一个简单的例子 ##

安装完成后，我们首先来看一个简单的例子，从而初探其使用方式：

这里使用到的示例`json`数据来自高德地图步行导航接口，包含了从天安门广场到西单大悦城的步行导航结果，原始数据如下，层次结构较深：

![d0f309cbfab321207bbeccc43f939c57.png][]

假如我想要获取其嵌套结构中`steps`键值对下每段行程的耗时`duration`数据，配合`jsonpath`就可以这样做：

import json
    from jsonpath import jsonpath
    
    # 读入示例json数据
    with open('json示例.json', encoding='utf-8') as j:
        demo_json = json.loads(j.read())
    
    # 配合JSONPath表达式提取数据
    jsonpath(demo_json, '$..steps[*].duration')

![1b5d36063e8c3f06584b1c9844c60939.png][]

其中`$..steps[*].duration`就是我们用于描述数据位置规则的`JSONPath`语句，配合`jsonpath()`便可以提取出对应信息，下面我们就来学习`jsonpath`中支持的常用`JSONPath`语法：

## 2.2 jsonpath中的常用JSONPath语法 ##

为了满足日常提取数据的需求，`JSONPath`中设计了一系列语法规则来实现对目标值的定位，其中常用的有：

*  **「按位置选择节点」**

在`jsonpath`中主要有以下几种按位置选择节点的方式：

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>语法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>根节点</td> 
   <td>$</td> 
  </tr> 
  <tr> 
   <td>当前节点</td> 
   <td>@</td> 
  </tr> 
  <tr> 
   <td>子节点</td> 
   <td>.或[]</td> 
  </tr> 
  <tr> 
   <td>任意子节点</td> 
   <td>*</td> 
  </tr> 
  <tr> 
   <td>任意后代节点</td> 
   <td>..</td> 
  </tr> 
 </tbody> 
</table>

让我们来演示一下它们的一些用法：

# 提取所有duration键对应值
    jsonpath(demo_json, '$..duration')

![79c2f1dd2aa846544fc68bf4990bcd16.png][]

# 提取所有steps键的子节点对应instruction值
    jsonpath(demo_json, '$..steps.*.instruction')

![8b85bc661e1311ff9a04becf999eb7d1.png][]

*  **「索引子节点」**

有些时候我们需要在选择过程中对子节点做多选或按位置选择操作，就可以使用到`jsonpath`中的相关功能：

# 多选所有steps键的子节点对应的instruction与action值
    jsonpath(demo_json, '$..steps.*[instruction,action]')

![3db14fd4acabf64f16a8a8b0474be7d5.png][]

# 选择steps键的第0个子节点对应的instruction与action值
    jsonpath(demo_json, '$..steps[0][instruction,action]')
    
    # 选择steps键的第1到3（不包括3）个子节点对应的instruction与action值
    jsonpath(demo_json, '$..steps[1:3][instruction,action]')
    
    # 配合@，选择steps键的最后一个子节点对应的instruction与action值
    jsonpath(demo_json, '$..steps[(@.length-1)][instruction,action]')

![33707a25cdd2094dc6e75ce1fa9309b5.png][]

*  **「条件筛选」**

有些时候我们需要根据子节点的某些键值对值，对选择的节点进行筛选，在`jsonpath`中支持常用的`==`、`!=`、`>`、`<`等比较运算符，以`==`比较符为例，这里配合`@`定位符从当前节点提取子节点，语法为`?(@.键名 比较符 值)`：

# 找到所有steps子节点中orientation为“西”的
    jsonpath(demo_json, '$..steps[?(@.orientation == "西")]')

![bc2e8b0697471b0a3bebd4550a0f4383.png][]

而如果想要提取所有具有指定键的节点，可以参考下面的例子：

# 找到所有具有polyline键的节点对应的polyline与road键对应值
    jsonpath(demo_json, '$..[?(@.polyline)][polyline,road]')

![7ec5996a934dacb7495b26f9fd60d22a.png][]

## 2.3 返回结果的形式 ##

在前面的例子中，我们所有的返回结果直接就是提取到的满足条件的结果，而`jsonpath()`中还提供了另一种特殊的结果返回形式，只需要设置参数`result_type=None`就可以改直接返回结果为返回每个结果的`JSONPath`表达式：

# 获取结果的JSONPath表达式
    jsonpath(demo_json, '$..[?(@.polyline)][polyline,road]', result_type=None)

![299e5cf5cfce078653b82eb41a339512.png][]

以上介绍的均为`jsonpath`库中的常规功能，可以满足基础的`json`数据提取需求，而除了`jsonpath`之外，还有其他具有更加丰富拓展功能的`JSONPath`类的第三方库，可以帮助我们实现很多进阶灵活的操作，我们将在下一篇文章中继续讨论。

--------------------

以上就是本文的全部内容，欢迎在评论区与我进行讨论~

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你用Python改造一款外星人入侵小游戏][Python]
 *  [手把手教你用Python网络爬虫+自动化来创建一位属于你自己的虚拟女票(附源码)][Python 1]
 *  [Python也能操作Mysql数据库][Python_Mysql]
 *  [盘点那些年我们一起玩过的网络安全工具][Link 1]

![508a6a0ccd1a2f07510c7b499251b309.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[8c0f92b7eaac54b06612148da871b25d.png]: /images/20220829/12144ef92e44473b82fcad4fd5ad1157.png
[d0f309cbfab321207bbeccc43f939c57.png]: /images/20220829/bb5623eefcfe465b8a5d42e70266e016.png
[1b5d36063e8c3f06584b1c9844c60939.png]: /images/20220829/38e0c45989a04b94b4fe3aba0ff21fe4.png
[79c2f1dd2aa846544fc68bf4990bcd16.png]: /images/20220829/f36e192c7fbe41d4a9eb2ab9505b57e0.png
[8b85bc661e1311ff9a04becf999eb7d1.png]: /images/20220829/8aee2ec6b50f48d1b99021e5a9da29c3.png
[3db14fd4acabf64f16a8a8b0474be7d5.png]: /images/20220829/796a01218f2c4890b643f4d4eac27ef4.png
[33707a25cdd2094dc6e75ce1fa9309b5.png]: /images/20220829/47d3f64d8df64a34b346c561d8aa081f.png
[bc2e8b0697471b0a3bebd4550a0f4383.png]: /images/20220829/2443faf6bd9a4893aed99ea9cf3bb024.png
[7ec5996a934dacb7495b26f9fd60d22a.png]: /images/20220829/f9461d197e0e4153a1d9f699621a584c.png
[299e5cf5cfce078653b82eb41a339512.png]: /images/20220829/f4cc18032ebc4a3bbf5aab237e0b37bc.png
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b21dcbb73b0bad0de6f604f61ed53035ba9b4992527621edcd65044568669708855d508a&idx=1&mid=2247496758&scene=21&sn=137eba93ac6dfdc67abedb2e5607e671#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b236cbb73b20d4cc2c0da4410d4dbcaf02e801718dfd78132b9062293c55b5fa1ee044f4&idx=1&mid=2247496733&scene=21&sn=2b6b98c854dc2dede4f6127e83f18240#wechat_redirect
[Python_Mysql]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4e6cbb73df00abf51cc844ebd684e1a630b44e08dcf3e28f9d89d0b0459dd06dd64d6e0&idx=1&mid=2247496397&scene=21&sn=a2641f5a5f98694b9d6b3bf7781c41e6#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4b9cbb73daf05e46ffc74d8f3c5257db082f8592bc1d4dbd9a536491866367fe160c5ef&idx=1&mid=2247496338&scene=21&sn=cc109289ced145f50e1dfff0f67fc5f3#wechat_redirect
[508a6a0ccd1a2f07510c7b499251b309.png]: /images/20220829/8a26ebc068fb41e0a421f1ff85f0a772.png