经济学家：GPT-5 后数据标注分歧，多半是 LLM 对人类错
soumitrashukla9 · x · 2026-10-06
- 经济学家 John Horton 提出「hot take」：大约从 GPT-5 起，在数据标注任务中，如果人类和 LLM 意见不一致，逐例检查分歧样本后会发现——几乎总是 LLM 是对的、人类错了，或者人类之间本身也存在实质性分歧。
- 这一观察对数据标注行业和评测基准的构建有直接含义：以人类标注为金标准的做法正在失效，模型分歧可能比「标注员共识」更值得当作信号。
「漫话AGI」频道最新
- 前大厂 AI 工程师裸辞接单:AI 压价后靠夜间送外卖付房租 — Hesamation · 2026-10-06
- 不服 AI 末日论？他做了一整套免费「人机友谊协会」海报 — GWBrooks · 2026-10-06
- OpenAI 有意在多智能体环境中训练模型，agent 集群协作非自发 — binarybits · 2026-10-06
- 90+ Claude agents 三天找到两个室温磁性半导体候选材料 — Dr_Singularity · 2026-10-06
- Paul Graham：连聪明人都要靠经验学会的「问题品味」 — ycombinator · 2026-10-06
- iamtrask：AI 意识与 AI 版权本质上是同一个辩论 — iamtrask · 2026-10-06