python解析含有重复key的json方法

2024-08-16 18:35:51

python自带的json包能够方便的解析json文本，但是如果json文本中包含重复key的时候，解析的结果就是错误的。如下为例

 {"key":"1", "key":"2", "key":"3", "key2":"4"}

经过解析，结果却如下所示：

{
  "key":"3",
  "key2":"4"
}

原因是python解析的时候是创建一个字典，首先会读取到key的值，但是后面遇到重复键的时候，后来的值会覆盖原来的值，导致最后只有一个key的值留下来。

这肯定不是我们想要的结果，其中一种结果可以是将相同键的值聚合成一个数组，即如下所示。

{
  "key":["1","2","3"],
  "key2":"4"
}

如何得到这种结果呢？python的json包还是留下了活路的。首先来看一下解析函数loads的原型。

json.loads(s, encoding=None, cls=None,
    object_hook=None, parse_float=None,
    parse_int=None, parse_constant=None,
    object_pairs_hook=None, **kw)

要注意的是object_pairs_hook这个参数，这是个回调函数，在解析json文本的时候会调用它并更改返回的结果。为了得到前述的结果，我们定义如下的hook函数：

def my_obj_pairs_hook(lst):
  result={}
  count={}
  for key,val in lst:
    if key in count:count[key]=1+count[key]
    else:count[key]=1
    if key in result:
      if count[key] > 2:
        result[key].append(val)
      else:
        result[key]=[result[key], val]
    else:
      result[key]=val
  return result

在解析文本的时候将上述函数作为参数传入，代码如下所示：

json.loads(data, object_pairs_hook=my_obj_pairs_hook)

即可得到前述的相同键的值合并为数组的结果。

在这个示例中，传入my_obj_pairs_hook的参数是一个元组列表，大致如下所示：

[("key","1"),("key","2"),("key","3"),("key2","4")]

之所以参数是这个样子，是因为这几个键值对组成了一个字典，python使用默认的dict方法返回字典，自然会出现值覆盖的情况。而有了my_obj_pairs_hook之后就调用这个函数得到字典结果，这样我们就保证了键值的不丢失，最终得到我们希望的结果。如果是个更加复杂的json文本，则每次解析一个字典的时候都会调用这个函数，也会传入不同的元组列表，大致如示例所示。

以上这篇python解析含有重复key的json方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

Python基础之文件读取的讲解

with open(filename) as fp: dataMat = [] for line in fp.readlines(): # fp.readlines()返回一个list,list of strs # 也即line类型为`str` curLine = line.strip().split('\t') # 只有`str`类型才有strip()成员函数, # 在经过split()分割,得到list类型 # 也即curLine类型为list # curLine 仍然是由字符串构成的lis
Python字符串逆序的实现方法【一题多解】

https://www.jb51.net/article/156406.htm https://www.jb51.net/article/156407.htm 1. 使用索引 >> strA = 'abcdefg' >> strA[::-1] 'gfedcba' 2. 使用 list 的 reverse 方法 >> l = [c for c in strA] >> l.reverse() >> ''.join(l) 'gfedcba' 3. 使用
Python XML转Json之XML2Dict的使用方法

1. Json读写方法 def parseFromFile(self, fname): """ Overwritten to read JSON files. """ f = open(fname, "r") return json.load(f) def serializeToFile(self, fname, annotations): """ Overwritten to write JSO
Python中shapefile转换geojson的示例

shapefile转换geojson import shapefile import codecs from json import dumps # read the shapefile def shp2geo(file="line出产.shp"): reader = shapefile.Reader(file) fields = reader.fields[1:] field_names = [field[0] for field in fields] buffer = [] for
Python实现去除列表中重复元素的方法总结【7种方法】

这里首先给出来我很早之前写的一篇博客,Python实现去除列表中重复元素的方法小结[4种方法],感兴趣的话可以去看看,今天是在实践过程中又积累了一些方法,这里一并总结放在这里. 由于内容很简单,就不再过多说明了,这里直接上代码,具体如下: # !/usr/bin/env python # -*- coding:utf-8 -*- ''' __Author__:沂水寒城功能: python列表去除方法总结(7种方法) ''' import sys reload(sys) import copy
Python字符串逆序输出的实例讲解

1.有时候我们可能想让字符串倒序输出,下面给出几种方法方法一:通过索引的方法 >>> strA = "abcdegfgijlk" >>> strA[::-1] 'kljigfgedcba' 方法二:借组列表进行翻转 #coding=utf-8 strA = raw_input("请输入需要翻转的字符串:") order = [] for i in strA: order.append(i) order.reverse() #将列
强悍的Python读取大文件的解决方案

Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适合读取大文件. 1. read() 接口的问题 f = open(filename, 'rb') f.read() 我们来读取 1 个 nginx 的日至文件,规模为 3Gb 大小.read() 方法执行的操作,是一次性全部读入内存,显然会造成: MemoryError ... 也即会发生内存溢出.
Python常用的json标准库

当请求 headers 中,添加一个name为 Accept,值为 application/json 的 header(也即"我"(浏览器)接收的是 json 格式的数据),这样,向服务器请求返回的未必一定是 HTML 页面,也可能是 JSON 文档. 1. 数据交换格式 -- JSON(JavaScript Object Notation) http 1.1 规范请求一个特殊编码的过程在 http1.1 规范中称为内容协商(content negotiation) JSON 特点
Python中GeoJson和bokeh-1的使用讲解

GeoJson 文档 { "type": "FeatureCollection", "features": [ { "geometry": { "type": "Polygon", "coordinates": [ [ [ 3, 1 ], [ 3, 2 ], [ 4, 2 ], [ 4, 1 ], [ 3, 1 ] ] ] }, "type": &
Python遍历文件夹处理json文件的方法

有两种做法:os.walk().pathlib库,个人感觉pathlib库的path.glob用来匹配文件比较简单. 下面是第二种做法的实例(第一种做法百度有很多文章): from pathlib import Path import json analysis_root_dir = "D:\\analysis_data\json_file" store_result="D:\\analysis_data\\analysis_result\\dependency.csv&qu

python解析含有重复key的json方法

相关推荐

随机推荐