欢迎您访问新疆栾骏商贸有限公司,公司主营电子五金轴承产品批发业务!
全国咨询热线: 400-8878-609

新闻资讯

技术教程

pandas 如何在 groupby 后把多列结果合并成一行 JSON

作者:冷漠man2026-01-16 00:00:00
在pandas中,groupby后将多列合并为一行JSON应使用apply配合to_dict('records')和json.dumps,并用fillna(None)处理NaN、ensure_ascii=False支持中文,避免to_json(orient='records')的转义问题。

在 pandas 中,groupby 后将多列结果合并为一行 JSON,核心是用 apply 配合 to_dictjson.dumps(或直接用 to_json),但要注意数据类型兼容性和结构控制。

用 apply + to_dict + json.dumps 生成标准 JSON 字符串

这是最灵活、推荐的方式,能精确控制字段名和数据类型:

  • 对每个分组,用 df.to_dict('records') 转成字典列表(每行一个 dict)
  • 再用 json.dumps 序列化,可加 ensure_ascii=False 支持中文
  • 避免直接用 to_json(orient='records'),它可能输出带转义的字符串(如 "\\u4f60"),而 dumps 更可控

示例:

import pandas as pd
import json

df = pd.DataFrame({ 'group': ['A', 'A', 'B', 'B'], 'name': ['张三', '李四', '王五', '赵六'], 'score': [85, 92, 78, 88], 'active': [True, False, True, True] })

result = df.groupby('group').apply( lambda x: json.dumps(x[['name', 'score', 'active']].to_dict('records'), ensure_ascii=False) ).reset_index(name='data_json')

输出:

group data_json

0 A [{"name": "张三", "score": 85, "active": true}, {"name": "李四", "score": 92, "active": false}]

1 B [{"name": "王五", "score": 78, "active": true}, {"name": "赵六", "score": 88, "active": true}]

只取特定列并控制键名(重命名字段)

如果原始列名不友好,或想统一输出字段,可在 to_dict 前用 rename 或构造新 DataFrame:

  • x[['name','score']].rename(columns={'name':'user','score':'point'})
  • .to_dict('records') → 字段名即为重命名后的名称

避免 NaN 导致 JSON 序列化失败

pandas 的 NaN 无法直接被 json.dumps 处理,会报错 TypeError: Object of t

ype float is not JSON serializable

  • 解决方法:在 to_dict 前用 .fillna(None),因为 None 会被 dumps 正确转为 null
  • 或者更稳妥地:用 df.replace({np.nan: None}) 全局替换(需 import numpy as np)

修正版片段:

lambda x: json.dumps(
    x[['name', 'score', 'active']].fillna(None).to_dict('records'),
    ensure_ascii=False
)

性能提示:大数据量时慎用 apply

apply 是 Python 级循环,对百万级分组较慢。若只需简单聚合(如拼接字符串),可用 agg + to_json,但灵活性低:

  • df.groupby('group').agg({'name': list, 'score': list}) → 得到列表,再手动构 dict + dumps
  • 不推荐直接 .agg(lambda x: x.to_json(...)),因 to_json 对 Series 行为不符合预期