结构化输出或让 44 个语言模型的回答更趋同
vista8 · x · 2026-07-27
一篇新论文提出：要求大模型输出结构化格式，可能会显著压缩回答多样性，而且这种现象在很多模型上都成立。
- 作者重新跑了 One-Word Census，在 44 个模型上对比自由回答与“只用 JSON 回复”这类格式约束。
- 结果显示，在 JSON 约束下，主流答案占比从 41% 升到 64%，独特答案从 52 个降到 36 个，平均答案选择 surprisal 从 1.80 降到 1.58 bits。
- 论文认为这种变化更像是“格式注册语域”效应，而不只是解码器问题：JSON 和 XML 的压缩最明显，YAML 和 CSV 没有出现同样强的效果。
- 结论是：面向工具调用、字段填充和 schema 输出的软件系统，看到的模型行为可能比聊天评测里更趋同、也更不“多样”。
「研究」频道最新
- 新论文 PFD 统一解释 SDS 模式坍缩，蒸馏收敛更快方差更低 — burny_tech · 2026-09-23
- 剑桥出版高维统计新教科书,Samworth 与 Shah 合著免费开放 — FrnkNlsn · 2026-09-23
- Reinforce-Ada:按难度自适应分配算力,RLVR 收敛加速至 2 倍 — burny_tech · 2026-09-23
- 论文:Transformer 并非没有世界模型,而是特征叠加互相干扰 — burny_tech · 2026-09-23
- 新论文称 Transformer 难以学会 loop-closure 世界建模 — burny_tech · 2026-09-23
- Epoch AI 报告:「思考」的价格正在暴跌,智能成本持续陡降 — Proper_Actuary2907 · 2026-09-23