jsonl与json区别

2025-03-13 约 781 字预计阅读 2 分钟

前言

JSONL（JSON Lines）和 JSON 都是 JSON（JavaScript Object Notation）格式的变体，但它们的结构和使用场景有所不同。

JSON 文件通常是一个完整的对象或数组：

{
  "users": [
    {
      "id": 1,
      "name": "Alice"
    },
    {
      "id": 2,
      "name": "Bob"
    }
  ]
}

或：

[
  {
    "id": 1,
    "name": "Alice"
  },
  {
    "id": 2,
    "name": "Bob"
  }
]

这种格式 必须整体解析 ，如果数据量过大，解析会占用大量内存。

JSONL（JSON Lines）格式是一种按行存储 JSON 对象的纯文本格式，每一行都是一个完整的 JSON 对象：

{"id": 1, "name": "Alice"}
{"id": 2, "name": "Bob"}
{"id": 3, "name": "Charlie"}

注意：JSONL 文件没有逗号，每行是独立的 JSON 对象，不是 JSON 数组！

JSONL 的特点

import json

with open("data.json", "r", encoding="utf-8") as f:
    data = json.load(f)  # 一次性加载整个 JSON
    print(data)

import json

with open("data.jsonl", "r", encoding="utf-8") as f:
    for line in f:
        data = json.loads(line)  # 逐行解析
        print(data)

使用场景	适合 JSON	适合 JSONL
配置文件	✅	❌
小规模数据存储	✅	❌
日志存储/分析	❌	✅
流式数据处理（如 Kafka）	❌	✅
机器学习训练数据	❌	✅
大规模数据（BigQuery, Elasticsearch）	❌	✅

✅ JSON 适用于：结构化、小规模数据，一次性加载解析。

✅ JSONL 适用于：大规模数据、流式处理，每行是独立 JSON。

如果你的数据量很大，或者是日志流式数据（比如 RAG 应用存储检索数据），建议使用 JSONL。