康奈尔研究显示,JSON 模式压缩 44 个模型答案多样性
omarsar0 · x · 2026-07-23
结构化输出不只是改格式,还会压缩答案多样性
康奈尔的一篇论文重新检验了一个常见假设:JSON mode 只是输出格式,不会影响内容。作者用 44 个语言模型 和 31 组开放式题目 做实验后发现,情况并非如此。
主要结果
- 在一个开放式“选一个词”任务里,仅仅要求模型输出 JSON,就把最常见答案占比从 41% 提到 64%,同时将不同答案数从 52 个降到 36 个。
- 这种“答案塌缩”出现在 JSON 和 XML 上;这两种格式本来就是模型后训练中常见的输出格式。
- 但在 YAML 和 CSV 上,这种现象不明显。
- 直接在解码器里强制 schema,并没有进一步压缩结果,说明变化主要发生在模型生成回答的阶段,而不是后处理阶段。
- 在一次重采样实验里,53% 的稳定聊天默认答案在 JSON 模式下发生变化,而且大多回到更常见的那一侧。
启示
如果你的 agent、抽取流水线或工具调用严重依赖 JSON mode,实际拿到的答案分布可能比你在聊天界面上看到的更单一。
「编程与Agent」频道最新
- Anthropic 研究员:99% 工程师已跑 300+ 自改进 agent 群 — AlishaOutridge · 2026-09-11
- Gergely Orosz 观察:AI Agent 提速十倍交付,却带来一堆小退化 — ducha_aiki · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成,视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Codex 用户实测:Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11